DE102011123037B3

DE102011123037B3 - Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjektes mit einem elektronischen Bildsensor und optisches Beobachtungsgerät

Info

Publication number: DE102011123037B3
Application number: DE102011123037.1A
Authority: DE
Inventors: Marco Pretorius; Christoph Nieten; Artur Högele; Enrico Geissler; Christoph Hauger
Original assignee: Carl Zeiss Meditec AG; Carl Zeiss AG
Current assignee: Carl Zeiss Meditec AG; Carl Zeiss AG
Priority date: 2011-09-05
Filing date: 2011-09-05
Publication date: 2019-10-10
Anticipated expiration: 2031-09-06

Abstract

Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts (17) mit einem elektronischen Bildsensor (5), in dem:
- ein Vollbild auf eine belichtete Sensorfläche (19) des Bildsensors (5) abgebildet wird, wobei eine interessierende Bildregion des Vollbildes auf eine Teilfläche (21) des Bildsensors (5) abgebildet wird, und
- die Aufnahme der Bilder erfolgt, indem der Bildsensor (5) für das jeweilige Bild belichtet und nach jeder Belichtung ausgelesen wird, wobei auf ein Belichten des Bildsensors (5) und ein Auslesen der gesamten für ein Vollbild belichteten Sensorfläche (19) wenigstens ein mal ein Belichten des Bildsensors (5) und ein Auslesen nur der Teilfläche (21) des Bildsensors (5) mit der interessierenden Bildregion erfolgt, bevor wieder ein Belichten des Bildsensors (5) und ein Auslesen der gesamten belichteten Sensorfläche (19) erfolgt, wobei
Belichtungs- und Auslesezyklen vorhanden sind und
in einem Belichtungs- und Auslesezyklus Belichtungen bei M verschiedenen Fokuslagen erfolgen und nach der Belichtung bei einer bestimmten Fokuslage der M Fokuslagen ein Auslesen der gesamten belichteten Sensorfläche (19) erfolgt wohingegen nach den Belichtungen bei den übrigen M-1 Fokuslagen jeweils nur ein Auslesen der Teilfläche (21) des Bildsensors (5) mit der interessierenden Bildregion erfolgt..

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor. Daneben betrifft die Erfindung ein optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts mit wenigstens einem elektronischen Bildsensor.
Um beispielsweise einem Operateur bei einem chirurgischen Eingriff unter Verwendung eines Operationsmikroskops gute Sichtverhältnisse zu verschaffen, wird das Operationsfeld beleuchtet. Typischerweise handelt es sich bei einem Operationsmikroskop um eine Optik, die ein sogenanntes Varioskop zur Fokussierung des Operationsfeldes, eine Zoom-Einheit (für die Stereobildgebung Pankrat genannt) sowie ein Okular als Schnittstelle zum Auge umfasst. Die Beleuchtung wird in der Regel durch thermische Strahler, etwa durch eine Halogen- oder Xenonlampe, mit einer nachgeschalteten Optik zur Fokussierung des Lichtes auf das Operationsfeld realisiert. Häufig werden dabei der Beleuchtungsstrahlengang und der Beobachtungsstrahlengang teilweise durch eine gemeinsame Optik, beispielsweise im Varioskop, geführt.
Geht man dazu über, die Bildaufnahme mittels Kamerachips zu digitalisieren und die Bildwiedergabe über Displays, insbesondere Stereodisplays oder digitale Okulare vorzunehmen, lassen sich nicht nur die Bildaufnahme und die Bildwiedergabe räumlich entkoppeln. Zusätzlich ist es möglich, die Belastung des Patienten durch die Beleuchtung des Operationsfeldes zu vermindern, da die Empfindlichkeit der Kamera der des Auges überlegen ist, zumindest für die Adaption des Auges an die typische Helligkeit im Operationssaal. Untersuchungen haben bestätigt, dass die Lichtintensität im Operationsfeld verringert werden kann, wenn eine Operation nicht mit einem rein optischen Mikroskop durchgeführt wird, sondern eine Kamera für eine Bildaufnahme verwendet wird.
Bei der Bildaufnahme von Farbbildern, beispielsweise während eines chirurgischen Eingriffs, werden typischerweise Farbkameras verwendet. Dabei handelt es sich entweder um teure Kameras mit drei Chips, je einem für den roten, den grünen und den blauen Spektralbereich, oder Kameras mit einem einzigen Chip, wobei ein sogenannter Bayer-Filter vor dem Chip angeordnet ist, in dem jedem Pixel des Sensorchips ein rotes, grünes oder blaues Filterelement vorgelagert ist. Gegebenenfalls können zudem Spektralfilter für andere Spektralbereiche vorhanden sein. Ein Kamerachip mit vorgeschaltetem Bayer-Filter ist beispielsweise in der deutschen Patentanmeldung DE 10 2008 017 390 A1 beschrieben. Da bei Verwendung eines Bayer-Filters wenigstens drei Pixel nötig sind, um die volle Farbinformation zu erhalten, führt diese Lösung zu einer geringeren räumlichen Auflösung, als mit dem Chip grundsätzlich möglich wäre. Zusätzlich erfordert das Vorschalten des Bayer-Filters einen zusätzlichen Fabrikationsschritt.
Alternativ ist es möglich, ein Farbbild mit einer monochromen und damit preisgünstigeren Kamera zeitsequentiell aufzunehmen. Das Beobachtungsobjekt wird dabei nacheinander mit verschiedenen Grundfarben beleuchtet und die Bilder während der Beleuchtung in den jeweiligen Grundfarben nacheinander mit einem einzigen Kamerachip aufgenommen. Die Bilder in den Grundfarben werden anschließend elektronisch überlagert, um ein Bild zu erhalten, das einer Weißlichtbeleuchtung entspricht. Derartige Verfahren zum zeitsequentiellen Aufnehmen sind beispielsweise in EP 0 601 179 B1 oder DE 10 2008 017 390 A1 beschrieben. In dem in DE 10 2008 017 390 A1 beschriebenen Verfahren können zudem zwischen den Aufnahmen für die Farbbilder auch LDI-Signale (LDI: Laser-Doppler-Imaging) aufgenommen werden. Die zeitsequentielle Aufnahme von Farbbildern erfordert jedoch eine Kamera mit sehr hoher Bildwiederholrate, was dazu führt, dass die verwendbaren Kameras sehr teuer sind.
Auch in anderen Situationen, etwa dem Aufnehmen stereoskopischer Bilder mit einem einzigen Kamerachip, wobei die stereoskopischen Teilbilder dann nacheinander mit demselben Kamerachip aufgenommen werden, spielt die Bildwiederholrate des Kamerachips eine Rolle. Hohe Bildwiederholraten sind hier ebenfalls wünschenswert, um ein Flimmern des Stereobildes zu vermeiden.
ADAMS, Andrew et al.: The Frankencamera: An Experimental Platform for Computational Photography. ACM Transactions on Graphics, Vol. 29, No. 4, July 2010. Article 29, pp. 29:1 - 29:12. beschreiben eine Kamera zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor, wobei mit dem Bildsensor eine Folge von Bildern aufgenommen wird, bei der jeweils die gesamte Szene und ein Ausschnitt der Szene aufgenommen werden, wobei die Aufnahmen der gesamten Szene und die Aufnahmen des Ausschnittes einander abwechseln. Dabei werden sowohl die gesamte Szene als auch der Ausschnitt der Szene jeweils mit 640x480 Pixel aufgenommen. Hierzu erfolgt bei der Aufnahme des Vollbildes ein Zusammenfassen von Pixeln zu Pixelblöcken.
DE 102 50 568 A1 beschreibt ein Verfahren zur Tiefendiskriminierung optisch abbildender Systeme, insbesondere in der Lichtmikroskopie, wobei durch Aufnahme mehrerer optischer Schnittbilder ein „z-Stapel“ gewonnen werden kann, welcher eine dreidimensionale Darstellung des Objektes ermöglicht. Dabei können „Regions of Interest (ROI)“ definiert werden, die bei den Bildaufnahmen beleuchtet werden.
DE 695 15 833 T2 offenbart eine elektronische Kamera mit schneller automatischer Fokussierung des Bildes auf einem Bildsensor. Die elektronische Kamera weist ein automatisch fokussierendes Objektiv auf, welches ein Bild auf der Grundlage von Bilddaten, die durch die Kamera von einem Teilbereich des Gesamtbildes elektronisch erhalten wurden, fokussiert. Die Kamera weist weiterhin einen Bildsensor mit kontinuierlicher Abtastung auf, der eine zweidimensionale Reihe von in Zeilen und Spalten angeordneten Fotoelementen aufweist, um ein Ladungsbild zu erzeugen. Der Sensor besitzt die Fähigkeit, einige Zeilen des Ladungsbildes zu eliminieren und andere Zeilen des Ladungsbildes zu übertragen. Die Kamera weist außerdem eine Zeitsteuerungseinrichtung zum Steuern des Sensors auf, um aus diesem komplette Bilder ohne Zeilensprung auszulesen.
Eine Ladungsableitung, die in einem Fokussierungsmodus durch die Zeitsteuerungseinrichtung steuerbar ist, eliminiert ein Zeilenmuster des Ladungsbildes aus dem Teilbereich und überträgt die Zwischenzeilen des Ladungsbildes innerhalb des Teilbereichs. Ein Prozessor erzeugt ein Scharfeinstellungssignal auf der Grundlage der aus dem Teilbereich übertragenen Zwischenzeilen des Ladungsbildes.
Die EP 2 362 641 A1 beschreibt ein bildgebendes System, dessen Bildsensor über eine foveale Region verfügt, die mit höherer Abtastrate abgetastet wird, wobei die periphere Region langsamer oder mit geringerer örtlicher Auflösung abgetastet wird.
Es ist daher eine Aufgabe der vorliegenden Erfindung, ein Verfahren und ein optisches Beobachtungsgerät zur Verfügung zu stellen, mit dem sich ausreichend hohe Bildwiederholraten auch bei Verwendung einer preisgünstigen Kamera realisieren lassen.
Diese Aufgabe wird durch ein Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor nach Anspruch 1 und durch ein optisches Beobachtungsgerät nach Anspruch 13 gelöst. Die abhängigen Ansprüche enthalten vorteilhafte Ausgestaltungen der Erfindung.
In den erfindungsgemäßen Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts mit einem elektronischen Bildsensor wird ein Vollbild auf die Sensorfläche, vorzugsweise auf die gesamte Sensorfläche des Bildsensors abgebildet. Eine interessierende Bildregion (region of interest, ROI) des Vollbildes wird dabei auf eine Teilfläche des Bildsensors abgebildet. Die Aufnahme der Bilder erfolgt, indem der Bildsensor für das jeweilige Bild belichtet und nach jeder Belichtung ausgelesen wird. Dabei erfolgt auf ein Belichten des Bildsensors und ein Auslesen der gesamten für ein Vollbild belichteten Sensorfläche wenigstens einmal ein Belichten des Bildsensors und ein Auslesen nur der Teilfläche des Sensors mit der interessierenden Bildregion, bevor wieder ein Belichten des Bildsensors und ein Auslesen der gesamten belichteten Sensorfläche erfolgt. Ein Auslesen der gesamten belichteten Sensorfläche soll hierbei als ein auf die Fläche des Sensors bezogenes Auslesen und nicht als ein auf die Gesamtzahl der Pixel in dieser Fläche bezogenes Auslesen verstanden werden. Das Auslesen der gesamten belichteten Sensorfläche kann ein Auslesen aller Pixel dieser Fläche bedeuten, aber auch ein Auslesen nur eines Teils der Pixel wobei die Pixel über die gesamte Fläche verteilt sind, beispielsweise wenn nur jede n-ten Pixelzeile und/oder jede m-ten Pixelspalte im Falle eines Subsamplings ausgelesen werden. Ebenso ist ein sog. Pixel-Binning möglich, in dem Pixel (Bildelemente) des Sensors zu Pixelblöcken zusammengefasst und die Pixel eines Pixelblockes jeweils gemeinsam ausgelesen werden.
Die Erfindung beruht auf der folgenden Überlegung:
Beispielsweise bei einem chirurgischen Eingriff, der unter Verwendung eines Operationsmikroskops durchgeführt wird, wird dem Operateur das Vollbild unter einem Sichtwinkel von ca. 30° bis 40° (field of view, FoV) dargeboten. Die Macula, also derjenige Bereich im Auge, der das scharfe Sehen ermöglicht, beschränkt denjenigen Sichtwinkel, in dem scharfes Sehen möglich ist, auf etwa 5°. Der Erfindung liegt die Erkenntnis zu Grunde, dass es daher eigentlich häufig nicht notwendig ist, im gesamten Sichtwinkel eine hohe Bildqualität aufrecht zu erhalten. Vielmehr reicht es aus, eine hohe Bildqualität im Bereich des scharfen Sehens aufrecht zu erhalten.
Verzichtet man also darauf, jedes Mal die gesamte belichtete Sensorfläche auszulesen, sondern konzentriert sich auf den interessierenden Bereich (region of interest, ROI), der nur einem Bruchteil der Sensorfläche entspricht, so vermindert sich auch die Zeit, die für das Auslesen dieses Ausschnittes benötigt wird, auf genau diesen Bruchteil. Wenn beispielsweise der interessierende Bereich in beiden Bildrichtungen jeweils nur einem Drittel der Gesamtausdehnung der belichteten Sensorfläche in den beiden Bilddimensionen entspricht, befinden sich im interessierenden Bereich lediglich ein Neuntel der Pixel der belichteten Sensorfläche. Wird nun beispielsweise das Vollbild mit einer preisgünstigen 60 Hz-Kamera in 16,67 Millisekunden (ein Sechzigstel Sekunde) ausgelesen, so beträgt die Auslesezeit des interessierenden Bereichs lediglich ein Neuntel der Gesamtauslesedauer, also nur 1,85 Millisekunden. Wegen der für das Auslesen der Teilfläche der belichteten Sensorfläche deutlich geringeren Auslesezeit gegenüber dem Auslesen der gesamten belichteten Sensorfläche ist es möglich, die Bildwiederholrate der verwendeten Kamera gegenüber dem Stand der Technik zu erhöhen, indem nur bei jedem k-ten Auslesen des Bildsensors die gesamte belichtete Sensorfläche ausgelesen wird. Bei den übrigen Belichtungen wird dagegen lediglich diejenige Teilfläche des Sensors ausgelesen, die der interessierenden Bildregion entspricht.
Wenn beispielsweise auf ein Auslesen der gesamten belichteten Sensorfläche dreimal ein Auslesen der dem interessierenden Bereich entsprechenden Teilfläche erfolgt, bevor die gesamte belichtete Sensorfläche ausgelesen wird, die zum Auslesen der gesamten belichteten Sensorfläche benötigte Zeit mit T bezeichnet wird und die Fläche des interessierenden Bereiches wie im zuvor erwähnten Beispiel ein Neuntel der Gesamtfläche beträgt, so wird für das Auslesen der Teilfläche eine Auslesedauer von 1/9 T benötigt. Für die drei Teilbilder werden also insgesamt dreimal 1/9 T benötigt, was 1/3 T entspricht. Die Zeitdauer die zwischen dem Auslesen zweier Vollbilder vergeht, hat sich durch das Auslesen der Teilbilder um ein Drittel erhöht. In dieser Zeit erfolgt jedoch ein viermaliges Auslesen des den interessierenden Bereich repräsentierenden Teilbildes, das ja auch zusammen mit dem Vollbild ausgelesen wird, sodass ein Auslesen dieses Teilbildes im Durchschnitt alle ((1+1/3)/4) T erfolgt. Für den interessierenden Bereich hat sich also die Dauer zwischen dem Auslesen im Vergleich zum Stand der Technik, in dem immer ein Vollbild ausgelesen wird, auf ein Drittel reduziert, sodass sich die Bildwiederholfrequenz für den interessierenden Bereich verdreifacht hat. Außerhalb des interessierenden Bereichs hat sich die Dauer zwischen dem Auslesen zweier Vollbilder zwar auf 4/3 T erhöht, jedoch entspricht dies immer noch ¾ der Bildwiederholrate, die erreicht würde, wenn immer nur Vollbilder ausgelesen würden.
Tatsächlich ist in vielen Anwendungen der interessierende Bereich erheblich kleiner als das Gesamtbild. Etwa im Falle des bereits erwähnten Operationsmikroskops, besitz der interessierende Bereich einen Sehwinkel von etwa 5° gegenüber dem Sehwinkel von 30° bis 40° des Vollbildes. In diesem Fall können beispielsweise bei Inkaufnahme einer Reduzierung der Bildwiederholrate der Vollbilder im Vergleich zu der eigentlich möglichen Rate zwischen zwei Vollbildern eine Vielzahl Teilbilder aufgenommen werden, so dass sich die Bildwiederholfrequenz für den entsprechenden Bildausschnitt um so mehr steigern lässt, je kleiner dessen Fläche in Bezug auf die Fläche des Vollbildes ist.
Insbesondere für einen Chirurgen ist es außerdem wichtig, dass eine geringe Verzögerung zwischen einer Bildaufnahme und der Wiedergabe der Bilder (Delay) vorliegt. Nur so kann eine gute Hand-Auge-Koordination, wie sie für eine Operation von großer Bedeutung ist, erzielt werden. Im Vergleich zum Stand der Technik kann dieser Delay für das den interessierenden Bereich repräsentierende Teilbild mit dem erfindungsgemäßen Verfahren im Vergleich zum Stand der Technik reduziert werden. Die etwas erhöhte Verzögerung im Bereich der Vollbilder außerhalb des interessierenden Bereichs ist dabei von geringerer Bedeutung, da sie nur im peripheren Bereich des Betrachters stattfindet, der für das Durchführen der Operation von untergeordneter Bedeutung ist.
Neben dem Erhöhen der Bildwiederholrate im interessierenden Bereich bietet das erfindungsgemäße Verfahren auch weitere Anwendungsmöglichkeiten. Bei Systemen, in denen aufgenommene Bilder über eine Datenverbindung mit beschränkter Bandbreite übertragen werden, ermöglicht das erfindungsgemäße Verfahren bspw. das Übertragen der interessierenden Bildregion mit einer hohen Bildwiederholrate, während die übrigen Bereiche mit einer niedrigen Bildwiederholrate übertragen werden, um Bandbreite zu sparen. Weiterhin kann das erfindungsgemäße Verfahren beim Erhöhen der Tiefenschärfe eines optischen Bobachtungsgerätes zum Einsatz kommen.
Bei elektronischen Bildsensoren, bspw. bei CCD-Sensoren oder CMOS-Sensoren, erfolgt eine Belichtung des Bildsensors für das i-te Bild während des Auslesens des (i-1)-ten Bildes. Das Auslesen der gesamten belichteten Sensorfläche erfordert jedoch mehr Zeit als das Auslesen der den interessierenden Bereich repräsentierenden Teilfläche. Die prinzipiell mögliche Belichtungszeit eines Bildes, das während des Auslesens der gesamten belichteten Sensorfläche belichtet wird, ist daher größer als die Belichtungszeit eines Bildes, das während des Auslesens der Teilfläche des Sensors belichtet wird. Um eine ausgewogene Aussteuerung des Sensors zu erzielen, ist es daher vorteilhaft, wenn die Intensität der Beleuchtung für die i-te Belichtung gegenüber der Beleuchtung für die (i-1)-te Belichtung herabgesetzt ist, wenn zum Auslesen des (i-1)-ten Bildes die gesamte belichtete Sensorfläche ausgelesen wird, um die längere Belichtungsdauer auszugleichen. Alternativ ist es auch möglich, die Belichtungsdauer für die i-te Belichtung gegenüber der Belichtungsdauer für die (i-1)-te Belichtung herabzusetzen, wenn zum Auslesen des (i-1)-ten Bildes die gesamte belichtete Sensorfläche ausgelesen wird. Mit anderen Worten, es wird dann nur ein Teil der grundsätzlich möglichen Belichtungsdauer genutzt. Selbstverständlich ist es auch möglich, eine verkürzte Belichtungsdauer und eine reduzierte Beleuchtungsintensität miteinander zu verknüpfen. Die Verknüpfung sollte dabei so erfolgen, dass beide Effekte kombiniert zu einer Belichtung führen, wie sie während des Auslesens nur der Teilfläche des Sensors, ggf. unter Berücksichtigung spektraler Empfindlichkeiten des Sensors, stattfinden würde.
Eine Erhöhung der reduzierten Bildrate für das Vollbild sowie eine Erhöhung der Bildrate für den interessierenden Bereich sind möglich, wenn beim Auslesen der gesamten Sensorfläche, also beim Auslesen eines Vollbildes, nur jede j-te Sensorzeile und/oder nur jede k-te Sensorspalte mit j > 1, k > 1 ausgelesen wird bzw. werden. Hierbei können die Parameter j und k gleich oder ungleich sein. Je mehr Auflösung des Vollbildes durch Subsampling herabgesetzt wird, desto höhere Bildraten lassen sich erzielen. Da nur das Vollbild mit reduzierter Auflösung ausgelesen wird, die Teilbilder jedoch mit der vollen Auflösung, führt dies insgesamt lediglich im peripheren Sichtbereich des Betrachters zu einer Reduzierung der Bildauflösung. Da im interessierenden Bereich weiterhin der überwiegende Teil der Bilder, nämlich alle Teilbilder, mit der vollen Auflösung aufgenommen werden, macht sich die Reduzierung der Auflösung des Vollbildes im interessierenden Bereich praktisch nicht bemerkbar.
Im Rahmen des erfindungsgemäßen Verfahrens erfolgen innerhalb eines Belichtungs- und Auslesezyklus Belichtungen bei M verschiedenen Fokuslagen. Nach der Belichtung bei einer bestimmten Fokuslage der M Fokuslagen erfolgt ein Auslesen der gesamten belichteten Sensorfläche, wohingegen nach den Belichtungen bei den übrigen M-1 Fokuslagen jeweils nur ein Auslesen der Teilfläche des Sensors mit der interessierenden Bildregion erfolgt. Die bestimmte Fokuslage, bei der ein Auslesen der gesamten belichteten Sensorfläche erfolgt, kann hierbei insbesondere eine mittlere Fokuslage der M Fokuslagen sein. Über eine schnelle Änderung der Fokuslage lässt sich so ein z-Stapel im interessierenden Bereich eines zu untersuchenden Objekts aufnehmen. In einer nachgeschalteten Software kann dann ein Bild mit erhöhter Schärfentiefe (sog. EDOF-Bild) im interessierenden Bereich errechnet werden. Außerhalb des interessierenden Bereiches findet dagegen keine Erhöhung der Schärfentiefe statt. Um eine Echtzeitfähigkeit zu erreichen, wie sie bspw. im Operationssaal gefordert ist, ist eine Bildwiederholrate nötig, die wesentlich höher ist (möglichst größer 300 Hz), als sie typischerweise von einer preisgünstigen Conumser-Kamera zur Verfügung gestellt wird (typischerweise Bildwiederholraten 60 Hz). Dadurch, dass lediglich ein einziges Bild des z-Stapels (vorteilhafterweise eines in mittlerer Fokuslage) als Vollbild aufgenommen wird, während alle anderen Bilder entsprechend der interessierenden Bildregion lediglich als Ausschnittsbild aufgenommen werden, kann auch mit einer Consumer-Kamera für das Ausschnittsbild eine hohe Bildwiederholfrequenz erreicht werden, wenn die Teilfläche des Bildsensors, die das Ausschnittsbild repräsentiert, gegenüber der gesamten belichteten Sensorfläche klein genug ist. Beispielsweise bei Operationsmikroskopen, bei denen das Ausschnittsbild durch den Blickwinkel des scharfen Sehens (etwa 5°) repräsentiert ist und das Vollbild einen Sichtwinkel von 30° bis 40° aufweist, können für das Ausschnittsbild hohe Bildraten beim Aufnehmen eines z-Stapels erzielt werden. Das Erhöhen der Schärfentiefe kann bei zeitsequentieller Farbbeleuchtung sowie bei Weißlichtbeleuchtung erfolgen. Sofern Farbbilder aufgenommen werden, können diese mittels zeitsequentieller Bildaufnahme, mittels Bayer-Filter oder mittels dreier Bildsensoren aufgenommen werden.
In vielen Anwendungen wird die interessierende Bildregion eines Bildes nicht immer dieselbe Position im Vollbild einnehmen. Beispielsweise bei einem Operationsmikroskop hängt die interessierende Bildregion von der Blickrichtung des Beobachters ab. Es ist daher vorteilhaft, wenn die Position der interessierenden Bildregion im Vollbild durch Bestimmen der Blickrichtung eines das Vollbild betrachtenden Beobachters ermittelt wird. In einem optischen Beobachtungssystem wie etwa einem Operationsmikroskop kann dies mittels eines sogenannten Eyetracking-Systems, welches die Blickrichtung erfasst, erfolgen. Wenn die Blickrichtung wiederholt ermittelt wird, kann die Position der die interessierende Bildregion repräsentierenden Teilfläche des Bildsensors auf der Sensorfläche anhand der jeweils aktuell ermittelten Blickrichtung aktualisiert werden. Vorzugsweise erfolgt hierbei das Ermitteln der Blickrichtung mit einer Rate von weniger als 20 Hz, vorzugsweise weniger als 10 Hz und insbesondere mit einer Rate im Bereich von 5 bis 10 Hz. Das Auge bewegt sich sehr schnell in sogenannten Sakkaden, ohne dass die dabei gewonnenen Informationen vom Gehirn verarbeitet werden. Sakkaden sind in der Regel nach 50 Millisekunden abgeschlossen. Eine Frequenz beim Ermitteln der Blickrichtung von mehr als 20 Hz könnte daher dazu führen, dass die Position der Teilfläche des Bildsensors anhand von Sakkaden nachgeführt wird, was jedoch nicht derjenigen Blickrichtung entspricht, die vom Gehirn auch verarbeitet wird. Auch wenn eine Rate von weniger als 20 Hz grundsätzlich ausreichen sollte, um das Nachführen der Teilfläche anhand von Sakkaden zu vermeiden, ist es vorteilhaft, wenn die Rate, mit der die Blickrichtung aktualisiert wird, die weniger als 10 Hz beträgt. Ein Bereich von 5 bis 10 Hz ist dabei besonders vorteilhaft, da bei einer Aktualisierung mit einer Rate von weniger als 5 Hz die Synchronisierung der die interessierende Bildregion repräsentierenden Teilfläche des Sensors auf der Sensorfläche mit der Blickrichtung störende Verzögerungen aufweisen könnte, die bspw. bei Operationen nicht hingenommen werden können.
Da die zuvor dargelegten Abschätzungen hinsichtlich der Auslesezeit für die interessierende Bildregion nicht von der Lage der entsprechenden Teilfläche des Bildsensors auf der belichteten Sensorfläche abhängen, gelten die Abschätzungen unabhängig von der Lage dieser Teilfläche auf dem Bildsensor.
Alternativ zum Nachführen der die interessierende Bildregion des Vollbildes repräsentierenden Teilfläche des Bildsensors anhand der Blickrichtung besteht auch die Möglichkeit, ein im Vollbild vorhandenes bewegtes Objekt zur Nachführung heranzuziehen. Hierzu wird mittels einer Bilderkennungssoftware ein bewegtes Objekt im Vollbild erkannt und die Teilfläche des Bildsensors so auf der Sensorfläche positioniert und dem Bild des bewegten Objekts auf der Sensorfläche nachgeführt, dass das Bild des bewegten Objekts in dieser Teilfläche verbleibt. Diese Ausgestaltung des erfindungsgemäßen Verfahrens eignet sich insbesondere für automatisierbare Beobachtungsvorgänge, wie etwa im Rahmen von Überwachungssystemen. Sobald beispielsweise eine Bewegung im zu überwachenden Bereich erfasst wird, kann die Teilfläche des Bildsensors so positioniert werden, dass die Teilfläche die Bewegung erfasst, solange sie von der Überwachungskamera beobachtet werden kann. Wenn die Bewegung des Objektes im Bild auf eine Bewegung des Beobachtungsgerätes etwa auf Grund von Schwingungen zurückgeht, kann die Nachführung zum Ausgleichen der Schwingungen dienen. Dies ist bspw. bei Operationsmikroskopen vorteilhaft.
In allen beschriebenen Ausführungsvarianten des erfindungsgemäßen Verfahrens können als Bilder des Beobachtungsobjekts dreidimensionale Bilder aufgenommen werden, die aus wenigstens zwei unter verschiedenen Sichtwinkeln aufgenommenen Perspektivbildern zusammengesetzt sind. Insbesondere können als dreidimensionale Bilder stereoskopische Bilder aufgenommen werden, die aus stereoskopischen Teilbildern zusammengesetzt sind. Alle Perspektivbilder (oder stereoskopischen Teilbilder beim Aufnehmen eines stereoskopischen Bildes) werden dabei mit einem elektronischen Bildsensor aufgenommen, wobei das erfindungsgemäße Verfahren auf das Aufnehmen der Perspektivbilder angewandt wird.
Das erfindungsgemäße Verfahren kann als Computerprogramm mit Anweisungen zur Durchführung des Verfahrens realisiert sein.
Ein erfindungsgemäßes optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts umfasst wenigstens einen elektronischen Bildsensor und eine Beobachtungsoptik, die ein Objektfeld des Beobachtungsobjekts als Vollbild auf die Sensorfläche des Bildsensors abbildet. Außerdem umfasst das erfindungsgemäße optische Beobachtungsgerät eine Auswahleinrichtung zum Auswählen einer Teilfläche des Bildsensors, die einer interessierenden Bildregion des Vollbildes entspricht, und eine Sensorsteuereinheit, die zum Steuern des Belichtens und Auslesens des Bildsensors nach dem erfindungsgemäßen Verfahren ausgebildet ist. Die Auswahleinrichtung kann dabei eine manuelle Auswahleinrichtung oder eine automatische Auswahleinrichtung sei, bspw. eine auf einen Eye-Traker beruhende Einrichtung.
Mit dem erfindungsgemäßen optischen Beobachtungsgerät lässt sich das erfindungsgemäße Verfahren durchführen. Die mit Bezug auf das Verfahren beschriebenen Eigenschaften und Vorteile lassen sich daher mit dem erfindungsgemäßen optischen Beobachtungsgerät realisieren. Das optische Beobachtungsgerät kann dabei beispielsweise als medizinisch-optisches Beobachtungsgerät wie etwa ein Operationsmikroskop oder ein Endoskop, als Überwachungskamera, als wissenschaftliches Mikroskop, als Mikroskop für Materialuntersuchungen, etc. ausgebildet sein.
Das erfindungsgemäße optische Beobachtungsgerät kann insbesondere eine Beobachtungsoptik umfassen, die das Aufnehmen von Perspektivbildern aus wenigstens zwei unterschiedlichen Sichtwinkeln erlaubt. Insbesondere kann die Beobachtungsoptik als stereoskopische Beobachtungsoptik ausgebildet sein. In einer Weiterbildung dieser das Aufnehmen von Perspektivbildern erlaubenden Beobachtungsoptik kann diese derart ausgebildet sein, dass die Strahlenbündel der Perspektivbilder, also der Stereokanäle im Falle einer stereoskopischen Beobachtungsoptik, zeitsequentiell auf denselben Bildsensor abgebildet werden. Derartige Beobachtungsoptiken sind beispielsweise in der deutschen Patentanmeldung DE 10 2011 010 262 A1 und der zugehörigen deutschen Patentschrift DE 10 2011 010 262 B4 beschrieben, auf die hinsichtlich möglicher Ausgestaltungen der Beobachtungsoptik, derart, dass ein zeitsequentielles Abbilden der Stereokanäle auf einen einzigen Bildsensor erfolgen kann, verwiesen wird.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbespielen unter Bezugnahme auf die beiliegenden Figuren.

1 zeigt ein Beispiel für ein optisches Beobachtungssystem in einer stark schematisierten Darstellung.
2 zeigt die belichtete Sensorfläche eines Bildsensors mit einer die interessierende Bildregion eines Bildes repräsentierenden Teilfläche des Sensors.
3 zeigt ein Zeitschema für eine zeitsequentielle Farbbildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung in den Grundfarben eines RGB-Farbraums.
4 zeigt ein Zeitschema für eine zeitsequentielle Bildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung mit weißem Licht sowie den Grundfarben eines RGB-Farbraums.
5 zeigt ein zweites Beispiel für das optische Beobachtungsgerät.
6 zeigt ein Zeitschema für eine zeitsequentielle Bildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung mit einer Fluoreszenz generierenden Strahlungsquelle und den Grundfarben eines RGB-Farbraums.
7 zeigt ein Zeitschema für eine zeitsequentielle Bildaufnahme mit einem monochromen Bildsensor und einer zeitsequentiellen Beleuchtung mit weißem Licht, Fluoreszenz anregender Strahlung und den Grundfarben eines RGB-Farbraums.
8 zeigt eine Anpassung des Zeitschemas aus 3 an ein stereoskopisches optisches Beobachtungsgerät.
9 zeigt eine Variante des Ausleseschemas aus 8, mit dem sich die Auslesezeit für ein Vollbild verkürzen lässt.
10 zeigt eine alternative Variante der Anpassung des Zeitschemas aus 3 an ein stereoskopisches optisches Beobachtungsgerät.
11 zeigt eine Anpassung des Zeitschemas aus 4 an ein stereoskopisches optisches Beobachtungsgerät.
12 zeigt eine Anpassung des Zeitschemas aus 6 an ein stereoskopisches optisches Beobachtungsgerät.
13 zeigt eine alternative Variante der Anpassung des Zeitschemas aus 6 an ein stereoskopisches optisches Beobachtungsgerät.
14 zeigt eine Anpassung des Zeitschemas aus 7 an ein stereoskopisches optisches Beobachtungsgerät.
15 zeigt ein Zeitschema für eine Bildaufnahme mit erhöhter Tiefenschärfe.
16 zeigt einen Vergleich zwischen der Bildwiederholrate, die mit dem in 15 dargestellten Zeitschema realisierbar ist im Vergleich zu der im Stand der Technik realisierten Bildwiederholrate.

Ein Beispiel für ein optisches Beobachtungsgerät ist stark schematisiert in 1 dargestellt. Das dargestellte optische Beobachtungsgerät umfasst eine Beobachtungsoptik 1, eine Kamera 3 mit einem monochromen elektronischen Bildsensor 5, eine Darstellungseinheit 7 (Recheneinheit), die aus den mit dem Bildsensor 5 aufgenommenen Daten Bilder generiert, die dann auf einer Anzeigeeinheit 9, beispielsweise einem Monitor, einer Datenbrille, einem elektronischen Okular, etc. dargestellt werden.
Weiterhin umfasst das optische Beobachtungsgerät wenigstens eine Lichtquelle L1 bis LN, wobei im vorliegenden Beispiel wenigstens drei Lichtquellen vorhanden sind, die Wellenlängenverteilungen aufweisen, welche unterschiedlichen Grundfarben eines RGB-Farbraums entsprechen. Die Anzahl der Lichtquellen und deren Wellenlängenverteilungen können von dem geplanten Einsatzgebiet des Beobachtungsgeräts abhängen. Falls wenigstens zwei Lichtquellen vorhanden sind, umfasst das optische Beobachtungsgerät zudem vorteilhafterweise eine Zusammenführeinrichtung 11, in der die Beleuchtungsstrahlengänge der einzelnen Lichtquellen L1-LN in eine allen Lichtquellen gemeinsame Beleuchtungsoptik 13 eingeführt werden.
Das optische Beobachtungsgerät wird von einer Steuereinheit 15 gesteuert, die zumindest mit der Kamera 3 verbunden ist. Falls mehrere Lichtquellen L1 bis LN vorhanden sind, die gepulst betrieben werden, ist die Steuereinheit 15 zudem mit den Lichtquellen verbunden. Mit Hilfe der Steuereinheit 15 erfolgt dann eine Synchronisation zwischen der Beleuchtung einerseits und dem Belichten und Auslesen des Bildsensors 5 andererseits. Wenn die Beobachtungsoptik als Varioskop ausgebildet ist, mit dem sich die Fokuslage des optischen Beobachtungsgeräts im Beobachtungsobjekt 17 variieren lässt, kann auch eine Steuerleitung zur Beobachtungsoptik, insbesondere zum Varioobjektiv vorhanden sein, um die Fokuslage mit dem Belichten und dem Auslesen des Bildsensors 5 zu synchronisieren. Schließlich kann die Steuereinheit 15 auch mit der Darstellungseinheit 7 verbunden sein, um die Bilddarstellung zu steuern.
Das Prinzip, das der Aufnahme von Bildern mit Hilfe des in 1 dargestellten optischen Beobachtungsgeräts zugrunde liegt, wird nachfolgend unter Bezugnahme auf 2 erläutert. 2 zeigt eine Draufsicht auf den elektronischen Bildsensor 5, in der die Sensorfläche 19, die für ein Vollbild belichtet wird, zu erkennen ist. Außerdem ist eine Teilfläche 21 des Bildsensors eingezeichnet, in der eine interessierende Bildregion (region of interest, ROI) im Folgenden ROI genannt, auf die Sensorfläche 19 abgebildet wird.
Beim Aufnehmen von Bildern mit dem optischen Beobachtungsgerät wird der Bildsensor 5 wiederholt belichtet und ausgelesen, wobei das Auslesen des mit der aktuellen Belichtung belichteten Sensors während der nachfolgenden Belichtung erfolgt. Dabei steuert die Steuereinheit 15 das Belichten und Auslesen des elektronischen Bildsensors 15 derart, dass auf ein Auslesen der gesamten Sensorfläche 19 wenigstens einmal ein Auslesen nur der die ROI repräsentierenden Sensorfläche 21 erfolgt, bevor erneut die gesamte Sensorfläche ausgelesen wird. Da die Sensorfläche 21, welche die ROI repräsentiert, erheblich kleiner als die gesamte Sensorfläche 19 ist, kann sie mit einer erheblich höheren Geschwindigkeit ausgelesen werden. Dadurch lässt sich durch Auslesen nur der die ROI repräsentierende Sensorfläche 21 eine höhere Bildrate erreichen, als wenn jedes Mal die gesamte Sensorfläche 19 ausgelesen wird. Zwar verringert sich dadurch etwas die Bildrate außerhalb der ROI; dies ist jedoch in der Regel nicht störend, da sich die wesentlichen Bildinformationen in der ROI befinden.
Das Aufnehmen von Farbbildern erfolgt dabei, indem das Beobachtungsobjekt 17 zeitsequentiell mit den Grundfarben eines RGB-Farbraums beleuchtet und der Sensor 5 bei jeder Beleuchtung des Beobachtungsobjektes belichtet und ausgelesen wird. Hierzu umfasst das optische Beobachtungsgerät aus 1 wenigstens drei Lichtquellen L1 bis L3, die beispielsweise rotes (L1), grünes (L2) und blaues (L3) Licht emittieren. Entsprechend werden mit dem monochromen Bildsensor rote, grüne und blaue Bilder aufgenommen, die an die Darstellungseinheit 7 (Recheneinheit) weitergegeben und dort zu einem synthetischen Farbbild kombiniert werden, das dann auf der Anzeigeeinheit 9 dargestellt wird.
Eine typische Consumer-Kamera verfügt über eine Bildwiederholrate von 60 Hz, das heißt das für das Auslesen eines Bildes rund 16,67 Millisekunden notwendig sind. Wenn mit einer derartigen Consumer-Kamera nach dem oben beschriebenen Verfahren Farbbilder synthetisiert werden sollen, können diese lediglich mit einer Bildwiederholrate von 20 Hz dargestellt werden, da für ein Farbbild jeweils drei monochrome Bilder in Rot, Grün und Blau aufgenommen werden müssen. Verzichtet man jedoch darauf, immer die gesamte Sensorfläche 19 auszulesen, sondern konzentriert sich auf die ROI 21, die in der Regel nur einen Bruchteil der gesamten Sensorfläche 19 ausmacht, so ist die zum Auslesen der der ROI entsprechenden Sensorfläche 21 benötigte Zeit in dem Verhältnis vermindert, in der die Teilfläche 21 zur gesamten Sensorfläche 19 steht. Wenn, wie in 2 schematisch dargestellt, die der ROI entsprechende Sensorfläche 21 in beiden Bilddimensionen eine Ausdehnung aufweist, die einem Drittel der gesamten belichteten Sensorfläche 19 entspricht, so enthält diese Teilfläche ein Neuntel der Pixel der Sensorfläche 19. Entsprechend lässt sich diese Teilfläche 21 in einem Neuntel der Zeit, die zum Auslesen der gesamten Sensorfläche 19 nötig wäre, auslesen. In dem Beispiel mit der Consumer-Kamera, die eine Bildwiederholrate von 60 Hz aufweist, beträgt die Auslesedauer der gesamten Sensorfläche 19 ca. 16,67 Millisekunden. Die beschriebene Teilfläche 21 kann dagegen in ca. 1,85 Millisekunden ausgelesen werden.
3 zeigt ein Beispiel für ein Zeitschema, wie Farbbilder nach dem beschriebenen Prinzip aufgenommen werden können. Die Bildaufnahme kann dabei gedanklich in Belichtungs- und Auslesezyklen unterteilt werden. In 3 sind drei solcher Belichtungs- und Auslesezyklen dargestellt. Zudem erfolgt die Beleuchtung des Beobachtungsobjekts in Beleuchtungszyklen, wobei in jedem Beleuchtungszyklus das Licht einmal mit dem Licht der Lichtquelle L1 (rot), dem Licht der Lichtquelle L2 (grün) und dem Licht der Lichtquelle L3 (blau), beleuchtet wird.
In dem in 3 dargestellten Beispiel umfasst ein Belichtungs- und Auslesezyklus jeweils vier Beleuchtungszyklen. Ein Belichtungs- und Auslesezyklus beginnt mit der ersten Beleuchtung eines Beleuchtungszyklus, also im dargestellten Beispiel mit dem Beleuchten des Beobachtungsobjekts 17 mit dem roten Licht der Lichtquelle L1. Während dieser Beleuchtung erfolgt eine Belichtung des Bildsensors 5. Anschließend folgt ein Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle L2, also im vorliegenden Beispiel mit grünem Licht. Gleichzeitig erfolgt eine Belichtung des Bildsensors 5. Außerdem erfolgt ein Auslesen des bei der vorangegangenen Belichtung aufgenommenen Bildes (das Auslesen des n-ten Bildes findet bei einer Kamera mit Global Shutter während der Belichtung für das nachfolgende Bild n+1 statt). Beim Auslesen des während der Beleuchtung mit L1 aufgenommenen Bildes wird die gesamte Sensorfläche 19, also ein Vollbild, ausgelesen.
Nach der Beleuchtung des Beobachtungsobjekts 17 mit dem Licht der Lichtquelle L2 und dem entsprechenden Belichten des Bildsensors 5 erfolgt ein Beleuchten des Beobachtungsobjekts 17 mit dem Licht der Lichtquelle L3, also im vorliegenden Beispiel mit blauem Licht, und ein erneutes Belichten des Bildsensors 5. Gleichzeitig wird das mit der grünen Beleuchtung der Lichtquelle L2 aufgenommene Bild ausgelesen. Bei diesem Auslesen erfolgt jedoch lediglich ein Auslesen der Teilfläche 21, auf die die ROI abgebildet wird, sodass lediglich ein ROI-Bild ausgelesen wird. Nach dem Beleuchten des Beobachtungsobjekts 17 und dem Belichten des Bildsensors 5 mit dem Licht der Lichtquelle L3 ist der erste Beleuchtungszyklus beendet.
Im Rahmen des zweiten Beleuchtungszyklus erfolgt dann ein erneutes Beleuchten mit dem Licht der Lichtquelle L1, wobei ein Belichten des Bildsensors 5 und ein Auslesen des mit dem Licht der Lichtquelle L3 gewonnenen Bildes erfolgt. Auch hierbei wird lediglich die Teilfläche 21 des Bildsensors 5 ausgelesen, sodass wiederum ein ROI-Bild entsteht. Beim erneuten Beleuchten des Beobachtungsobjektes 17 mit dem Licht der Lichtquelle L2 und dem Belichten Bildsensors 5 wird nunmehr das Bild, das mit der Lichtquelle L1 gewonnen worden ist, ausgelesen, wobei wiederum lediglich die Teilfläche 21, also ein ROI-Bild ausgelesen wird. Nachdem dieses ROI-Bild ausgelesen ist, liegen ROI-Bilder in grün, blau und rot vor, sodass ein farbiges ROI-Bild synthetisiert werden kann. Als Nächstes wird das Beobachtungsobjekt 17 erneut mit dem Licht der Lichtquelle L3 beleuchtet, wobei wiederum eine Belichtung des Bildsensors 5 stattfindet. Gleichzeitig wird das während der vorangegangenen Beleuchtung mit dem grünen Licht aufgenommene Bild aus der gesamten Sensorfläche 19 ausgelesen, sodass ein grünes Vollbild gewonnen wird. Danach ist der zweite Beleuchtungszyklus abgeschlossen.
Im dritten Beleuchtungszyklus erfolgt wiederum nacheinander ein Beleuchten des Beobachtungsobjekts 17 und ein entsprechendes Belichten des Bildsensors 5 mit rotem, grünem und blauem Licht der Lichtquellen L1, L2 und L3, wobei ein rotes ROI-Bild, ein grünes ROI-Bild und ein blaues Vollbild gewonnen werden. Nachdem das blaue Vollbild aufgenommen ist, kann ein farbiges Vollbild synchronisiert werden.
Im vierten und letzten Beleuchtungszyklus des Belichtungs- und Auslesezyklus werden nur ROI-Bilder in allen Farben aufgenommen. Danach ist der erste Belichtungs- und Auslesezyklus beendet, und der nachfolgende Belichtungs- und Auslesezyklus kann beginnen. Dieser nachfolgende Zyklus entspricht dem ersten Zyklus. In jedem Belichtungs- und Auslesezyklus werden so ein farbiges Vollbild und zusätzlich drei farbige ROI-Bilder aufgenommen.
Die Tabelle in 3 enthält nicht nur die Information über den jeweiligen Belichtungs- und Auslesezyklus (1. Spalte), und die Beleuchtungszyklen (2. Spalte), sondern auch darüber, ob ein Vollbild oder ein ROI-Bild aufgenommen wird (3. Spalte). Daneben enthält die Tabelle am Beispiel der Consumer-Kamera mit 60 Hz Bildwiederholrate Angaben über den Beginn und das Ende der jeweiligen Belichtung (4. und 5. Spalte), gemessen vom Beginn des ersten Beleuchtungszyklus an. Darüber hinaus beschreibt sie die Zeitdauer, bis ein farbiges Vollbild ausgelesen ist und synthetisiert werden kann (6. Spalte), die Zeitdauer zwischen der Aufnahme eines einfarbigen Vollbildes (7.-9. Spalte), und der Darstellung des Farb-Vollbildes, die Zeitdauer, bis ein farbiges ROI-Bild ausgelesen ist und synthetisiert werden kann (10. Spalte) sowie für ROI-Bilder die Zeitdauer zwischen der Aufnahme eines einfarbigen ROI-Bildes und der Darstellung des entsprechenden Farbbildes (11.-13. Spalte). In der Tabelle ist zu beachten, dass alle Zahlen auf die erste Nachkommastelle gerundet sind.
Wie sich aus 3 ableiten lässt, beträgt die typische Zeitdauer zwischen zwei ausgegebenen farbigen Vollbildern etwa 66,7 Millisekunden (Spalte 6), was einer Bildwiederholrate von 15 Hz entspricht. Die Bildwiederholrate für Vollbilder entspricht daher lediglich drei Viertel der Bildwiederholrate, die mit der 60 Hz-Consumer-Kamera erreichbar ist, wenn nur Vollbilder ausgelesen werden (bei 60 Hz Bildwiederholrate beträgt die Bildwiederholrate für farbige Vollbilder und zeitsequentielle Farbaufnahmen 20 Hz). Die mittlere Zeitdauer zwischen zwei farbigen ROI-Bildern beträgt dagegen lediglich 16,7 Millisekunden (vgl. Spalte 10), was einer Bildwiederholrate für die farbigen ROI-Bilder von 60 Hz entspricht. Die interessierende Region des Bildes wird daher mit einer Bildwiederholrate von 60 Hz dargestellt, was dem Dreifachen von dem entspricht, was beim ausschließlichen Auslesen von Vollbildern mit der Consumer-Kamera erreichbar ist.
Es soll noch einmal angemerkt werden, dass, wie zuvor erwähnt, bei einer Kamera mit Global Shutter das Auslesen eines Bildes während der Belichtung des nächsten Bildes stattfindet. Die Auslesezeit, die zum Auslesen des n-ten Bildes benötigt wird, bestimmt deshalb die minimale Zeit, die für das Belichten des Bildes n+1 zur Verfügung steht. In dem in 3 gezeigten Zeitschema ist in den Spalten 4 und 5 jeweils der Beginn und das Ende der Belichtung angegeben. Wie aus diesen Spalten entnommen werden kann, steht jeweils dann, wenn ein Vollbild, also die gesamte Sensorfläche 19, ausgelesen wird, die maximale Zeitdauer zur Verfügung. Wenn dagegen lediglich die Teilfläche 21 ausgelesen wird, steht nur ein Bruchteil dieser maximalen Zeitdauer zur Belichtung zur Verfügung. Um eine ausgewogene Aussteuerung des Bildsensors 5 zu ermöglichen, kann entweder die maximale Beleuchtungszeit oder die maximale Belichtungszeit auf die kürzere Zeitdauer des Auslesens eines ROI-Bildes beschränkt werden. Alternativ kann die längere Beleuchtungs- bzw. Belichtungsdauer beibehalten werden und die Beleuchtungsintensität entsprechend herabgeregelt werden. Auch eine Kombination aus beidem, also aus dem Herabsetzen der Beleuchtungsintensität und dem Herabsetzen der Beleuchtungs- und Belichtungsdauer ist möglich.
Mit dem beschriebenen Verfahren lässt sich mit einer preisgünstigen Kamera, die nur eine beschränkte Bildwiederholrate ermöglicht, im Bereich der ROI eine flackerfreie, farbsequentielle Bildaufnahme realisieren. Dabei macht man sich zunutze, dass ein Beobachter in der Regel lediglich im ROI die volle Bildqualität benötigt. Die Herabsetzung der Bildwiederholrate im Bereich außerhalb der ROI kann dabei hingenommen werden.
Im allgemeinen Fall, dass für die Aufnahme eines farbigen Vollbildes n_farb einfarbige Vollbilder aufgenommen werden und zwischen zwei einfarbigen Vollbildern n_ROI einfarbige ROI-Bilder aufgenommen werden, verringert sich die Bildwiederholrate für die farbigen Vollbilder gegenüber einem Aufnehmen ausschließlich von Vollbildern um n_farb/(n_farb + y · n_ROI), wobei y das Flächenverhältnis eines ROI-Bildes zu einem Vollbild darstellt. Die Bildwiederholrate der farbigen ROI-Bilder erhöht sich dagegen deutlich um den Faktor (n_farb + n_ROI)/(n_farb + y · n_ROI).
Falls es nicht erforderlich ist, außerhalb der ROI Farbinformationen über das Beobachtungsobjekt zu erhalten, kann ein alternatives Zeitschema zur Anwendung kommen. Dieses ist in 4 dargestellt. Während nach dem in 3 gezeigten Zeitschema im Rahmen eines Belichtungs- und Auslesezyklus nach einem Auslesen der gesamten Sensorfläche wenigstens einmal ein Belichtungs- und Auslesesequenz des Bildsensors folgt, in der das Beobachtungsobjekt nacheinander mit allen Wellenlängenverteilungen eines Beleuchtungszyklus beleuchtet wird und bei jeder Beleuchtung ein ROI-Bild aufgenommen wird, sodass ein Belichtungs- und Auslesezyklus mindestens vier Beleuchtungszyklen umfasst, entspricht bei dem Zeitschema aus 4 ein Belichtungs- und Auslesezyklus weitgehend einem Beleuchtungszyklus.
In dem in 4 gezeigten Zeitschema erfolgt zu Beginn des Belichtungs- und Auslesezyklus ein Beleuchten des Beobachtungsobjekts mit weißem Licht. Dies kann beispielsweise dadurch erfolgen, dass das Beobachtungsobjekt gleichzeitig mit dem Licht aller drei Beleuchtungslichtquellen L1 bis L3, also gleichzeitig mit rotem, grünem und blauem Licht beleuchtet wird, oder dadurch, dass wenigstens eine vierte Lichtquelle L4 vorhanden ist, die weißes Licht emittiert. Nachdem die Belichtung des Bildsensors während der Beleuchtung des Beobachtungsobjekts 17 mit dem weißen Licht erfolgt ist, erfolgt ein Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle L1, also mit rotem Licht, und eine Belichtung des Bildsensors 5. Gleichzeitig wird das bei der Belichtung mit weißem Licht aufgenommen Bild ausgelesen. Bei diesem Auslesen wird die gesamte Sensorfläche 19 ausgelesen, sodass ein Vollbild entsteht. Da der verwendete Bildsensor monochrom ist, also keine Farbinformationen aufnehmen kann, entsteht ein Vollbild in Graustufen.
Nach dem Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle L1 und dem entsprechenden Belichten des Bildsensors 5 erfolgt ein Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle L2, also mit grünem Licht, und ein erneutes Belichten des Bildsensors 5. Gleichzeitig wird das zuvor bei der roten Beleuchtung aufgenommene Bild aus der Sensorfläche 21, die der ROI entspricht, ausgelesen, sodass ein rotes ROI-Bild entsteht.
Nach Beleuchten des Beobachtungsobjektes 17 und dem Belichten mit dem Licht der Lichtquelle L2, erfolgt ein Beleuchten des Beobachtungsobjekts mit dem Licht der Lichtquelle L3, also mit blauem Licht, und ein entsprechendes Belichten des Bildsensors 5. Während dieser Belichtung wird das zuvor bei der grünen Beleuchtung aufgenommene Bild ausgelesen, wobei lediglich der Teilbereich 21 der Sensorfläche 19 ausgelesen wird, sodass ein grünes ROI-Bild entsteht. Nach dem Beleuchten des Beobachtungsobjekts mit dem blauen Licht und dem entsprechenden Belichten des Bildsensors 5 ist der Beleuchtungszyklus abgeschlossen und der nächste Beleuchtungszyklus kann mit der Beleuchtung mit weißem Licht beginnen. In dieser Zeit wird der zuvor während der Beleuchtung mit dem blauen Licht belichtete Bildsensor erneut ausgelesen, wobei wiederum lediglich die Teilfläche 21 der Sensorfläche 19 ausgelesen wird, sodass ein blaues ROI-Bild entsteht. Danach kann aus den drei gewonnenen ROI-Bildern ein Farbbild für die ROI synthetisiert werden. Im darauffolgenden Belichtungs- und Auslesezyklus wird dieser gesamte Vorgang wiederholt.
Wie bereits erwähnt, wird, wenn die Bildaufnahme gemäß diesem Zeitschema erfolgt, lediglich das ROI-Bild farbig dargestellt. Dafür sind jedoch die Bildwiederholraten für das Vollbild und das farbige ROI-Bild identisch. Wenn wieder davon ausgegangen wird, dass die Teilfläche 21 einem Neuntel der Sensorfläche 19 entspricht, kann mit diesem Zeitschema alle (1 + 3 · 1/9) × 16,67 Millisekunden, also alle 22,2 Millisekunden, sowohl ein Graustufen-Vollbild und ein farbiges ROI-Bild dargestellt werden. Dies entspricht einer Bildwiederholfrequenz von 45 Hz (zur Erinnerung, wenn mit einer 60 Hz Kamera nur Vollbilder aufgenommen werden, können Farbbilder lediglich mit einer Bildfrequenz von 20 Hz dargestellt werden).
Ein zweites Beispiel für das optische Beobachtungsgerät ist in 5 dargestellt. Elemente, die denen des in 1 dargestellten ersten Beispiels entsprechen, sind in 5 mit denselben Bezugsziffern wie in 1 bezeichnet und werden nicht noch einmal erläutert, um Wiederholungen zu vermeiden.
Das in 5 dargestellte Beispiel ist außer für das Aufnehmen von Farbbildern auch zur Aufnahme von weiteren Informationen ausgelegt. Im vorliegenden Beispiel sind diese weiteren Informationen Fluoreszenzbilder des Beobachtungsobjektes 17. Aber auch Bilder außerhalb des sichtbaren Spektralbereiches können statt der Fluoreszenzbilder oder zusätzlich zu den Fluoreszenzbildern aufgenommen werden. Zur Aufnahme der Fluoreszenzbilder umfasst das optische Beobachtungsgerät einen im Beobachtungsstrahlengang, also zwischen dem Beobachtungsobjekt 17 und dem Bildsensor 5, angeordneten Spektralfilter 23. Dieser befindet sich im vorliegenden Beispiel zwischen der Beobachtungsoptik 1 und der Kamera 3. Zudem weist eine der Lichtquellen L1 bis LN ein Spektrum auf, das die Anregung einer Fluoreszenz im Beobachtungsobjekt erlaubt. Der die Fluoreszenz anregende Teil des Spektrums dieser Lichtquelle wird von dem Spektralfilter 23 aus dem Beobachtungsstrahlengang herausgefiltert. Es besteht dabei die Möglichkeit, Anregungsstrahlung außerhalb des Wellenlängenbereiches von 437-750 nm, insbesondere außerhalb des Wellenlängenbereiches von 400-800 nm, zu verwenden, falls die anzuregende Fluoreszenz dies erlaubt.
Diese Ausgestaltung des optischen Beobachtungsgeräts ist beispielsweise vorteilhaft, wenn einem Operateur medizinisch relevante Informationen zur Verfügung gestellt werden sollen, die außerhalb des sichtbaren Spektralbereichs liegen oder sich mit diesen überlagern. Beispielhaft ist hier Fluoreszenzbildgebung genannt, für die zur Zeit drei in der Medizin zugelassene fluoreszierende Farbstoffe existieren, nämlich die Verbindung 5-Aminolävulinsäure (kurz 5-ALA), Indocyaningrün (kurz ICG) und Fluorescein.
Bei der Verbindung 5-ALA handelt es sich um eine Verbindung, die beispielsweise in der Hirnchirurgie als Farbstoff eingesetzt wird. Bei Verabreichung von 5-ALA finden in den Zellen mit erhöhtem Stoffwechsel - typischerweise Tumorzellen - Anreicherungen von fluoreszierenden Verbindungen statt. Die Fluoreszenz wird typischerweise bei einer Wellenlänge < 430 nm angeregt, während die Emission im roten Spektralbereich stattfindet. In rein optischen Operationsmikroskopen wird die Fluoreszenz nach einer Behandlung mit 5-ALA dadurch sichtbar gemacht, dass die Beleuchtung mit einem Kantenfilter versehen wird, sodass lediglich Licht < 430 nm auf das Operationsfeld gelangt. In den Beobachtungsstrahlengang wird wiederum ein Filter eingebracht, der lediglich Licht mit Wellenlängen ≥ 430 nm zum Auge des Operateurs gelangen lässt. Die Filter sind dabei so ausgelegt, dass es einen sehr schmalen Wellenlängenbereich bei 430 nm gibt, in dem Anregungsstrahlung den Filter passieren kann, sodass ein Teil des Anregungslichtes bei der Beobachtung verfügbar ist, wie dies in WO 97/ 11 636 A2 beschrieben ist. Der blaue Lichtanteil im Bild dient Chirurgen dazu, sich im Operationsfeld zu orientieren. Die Fluoreszenz findet im roten statt; das Fluoreszenzlicht gelangt ungefiltert ins Auge des Beobachters. Die Unterscheidung zwischen Tumorgewebe und gesundem Gewebe erfolgt über die Differenzierung von blauen Schattierungen (unspezifische Reflexion am Gewebe) und roten Schattierungen (Fluoreszenz von Tumorgewebe). Bei diesem Verfahren kann wegen der definierten - und daher unveränderlichen - Filterkanten im Beleuchtungs- und Beobachtungsstrahlengang das Verhältnis zwischen „blauem“ unspezifischem Gewebe und rotem Tumor nicht verändert werden. Dies verhindert, dass schwache Fluoreszenz vom Operateur wahrgenommen werden kann. Die Möglichkeiten einer Gewebedifferenzierung sind somit prinzipiell limitiert.
Bei ICG handelt es sich um einen Farbstoff, der für die Darstellung von Blutgefäßen (Angiographie) verwendet wird. ICG lässt sich beispielsweise bei Wellenlängen < 780 nm anregen, während die Fluoreszenz oberhalb 780 nm nachgewiesen wird - typischerweise mit einer Kamera. In der Hirnchirurgie ist es wichtig, Gefäßaussackungen, sogenannte Aneurysmen, beispielsweise mit einen Clip abzuklemmen, da die Aussackungen leicht reißen und zu Hirnbluten führen können. Nach dem Anbringen des Clips wird typischerweise ICG in die Blutbahn injiziert. Mit einer Kamera wird anschließend festgehalten, wie der Fluoreszenzfarbstoff in die Blutgefäße einströmt. Um zu erkennen, ob der Clip richtig gesetzt wurde, muss der Chirurg feststellen können, ob die Fluoreszenz im abgeklemmten Aneurysma über das große Blutgefäß oder über Kapillare einströmt. Dies bedeutet, dass eine schnelle Abfolge von Kamerabildern zu bewerten ist. Häufig ist die Bildrate bei typischen Kameras mit 60 Hz nicht ausreichend, um das Einströmverhalten bewerten zu können. Da gleichzeitig sowohl das Einströmen beobachtet werden muss - typischerweise an einem Monitor, der das infrarote Fluoreszenzbild als Graustufenbild darstellt - als auch der Patient zu überwachen ist, sind dazu mehrere Personen nötig. Hier ist eine Lösung gesucht, die sowohl ein Fluoreszenzbild mit hoher Bildrate (> 60 Hz) darstellen kann, als auch gleichzeitig eine Überwachung des Patienten erlaubt, beispielsweise über ein Bild im VIS-Bereich.
Bei Fluorescein handelt es sich um einen Fluoreszenzfarbstoff, der im Operationssaal sowohl in der Angiographie als auch für Gewebedifferenzierung verwendet wird. Eine Anregung wird typischerweise bei Wellenlängen von etwa 480 nm vorgenommen, um eine Fluoreszenz im Grünen zu beobachten. Dies bedeutet, dass sowohl Anregung als auch Fluoreszenz mitten im sichtbaren Spektralbereich liegen.
Unabhängig von den drei genannten Fluoreszenzfarbstoffen wird generell auch für Farbstoffe, die in Zukunft eine medizinische Zulassung erhalten, die Herausforderung darin bestehen, bei einer Gewebedifferenzierung gleichzeitig sowohl ein unspezifisches Übersichtsbild, als auch die spezifische Fluoreszenz zu visualisieren bzw. bei einer Angiographie sowohl eine schnelle Fluoreszenzbilderfassung als auch eine Überwachung des Patienten zu ermöglichen.
Die in 5 dargestellte Anordnung erlaubt es, gleichzeitig sowohl ein visuelles Bild, als auch Fluoreszenzinformationen darzustellen. Beispielsweise mittels der gekannten Fluoreszenzfarbstoffe kann somit eine Tumorerkennung (5-ALA, Fluorescein) bzw. eine Angiographie (ICG, Fluorescein) vorgenommen werden, während sich ein Chirurg gleichzeitig am visuellen Bild des Operationsfeldes orientieren kann bzw. den Patienten überwachen kann. Mittels einer zeitsequentiellen Beleuchtung kann dabei eine zeitliche Trennung des visuellen Bildes vom Fluoreszenzbild erfolgen, wobei keine bewegliche Teile, wie etwa ein Filterrad, nötig sind. Zudem kann das visuelle Bild von der Recheneinheit 7 vom Fluoreszenzbild getrennt synthetisiert werden, sodass beide Bilder auf unterschiedlichen Monitoren dargestellt werden können. Alternativ besteht auch die Möglichkeit, dass die Recheneinheit 7 eine Überlagerung des Fluoreszenzbildes mit dem visuellen Bild berechnet, beispielsweise dahingehend, dass das Fluoreszenzbild dem visuellen Bild in Form von Konturen, welche beispielsweise einen Tumor anzeigen, in Form von Falschfarbeninformationen, in Form von „Highlighting“ also durch Aufhellen oder Abdunkeln bestimmter Bildbereiche, etc. erfolgt.
Die Aufnahme des Fluoreszenzbildes kann ohne weiteres in das mit Bezug auf 3 beschriebene Zeitschema integriert werden. Ein entsprechendes, um die Anregungsstrahlung L4 für die Fluoreszenz ergänztes Zeitschema ist in 6 dargestellt. Gemäß der zuvor erwähnten Formel lässt sich dabei eine Bildwiederholrate für die Vollbilder von 10,4 Hz (entspricht einer Zeitdauer zwischen zwei Vollbildern von 96,3 Millisekunden) und 51,9 Hz im Falle von ROI-Bildern (entspricht einer Zeitdauer zwischen zwei ROI-Bildern von 19,3 Millisekunden) erreichen.
Außer in das Zeitschema aus 3 kann das Aufnehmen von Fluoreszenzbildern auch in das Zeitschema aus 4 ohne weiteres integriert werden. Ein entsprechendes, um die Beleuchtung mit der Fluoreszenz anregenden Lichtquelle L4 ergänztes Zeitschema ist in 7 dargestellt. Für dieses Zeitschema lassen sich sowohl für die Graustufen-Vollbilder als auch für die farbigen ROI-Bilder Bildwiederholraten von 41,5 Hz realisieren, was einer mittleren Zeitdauer zwischen zwei Bildern von 24,1 Millisekunden entspricht.
Die bisher beschriebenen Zeitschemata zur Aufnahme von Farbbildern oder zur Aufnahme von Farbbildern und Fluoreszenzbildern können auch auf stereoskopische optische Beobachtungsgeräte wie etwa Operationsmikroskope übertragen werden. Eine erste Variante, gemäß der das in 3 dargestellte Zeitschema in einem stereoskopischen optischen Beobachtungsgerät zur Anwendung kommen kann, ist in dem Zeitschema aus 8 dargestellt. Die aus 3 bekannten Belichtungs- und Auslesezyklen werden dabei im Wechsel für die stereoskopischen Beobachtungsstrahlengänge durchgeführt. Nachdem bspw. der erste Zyklus für den rechten Stereokanal durchgeführt worden ist, wird der erste Zyklus für den linken Stereokanal durchgeführt, bevor der zweite Zyklus für den rechten Stereokanal durchgeführt wird usw. Da jeder Belichtungs- und Auslesezyklus zweimal durchgeführt werden muss (einmal für den rechten und einmal für den linken Stereokanal), halbieren sich die gemäß diesem Zeitschema realisierbaren Bildwiederholraten bzw. verdoppeln sich die Zeitabstände zwischen zwei Vollbildern bzw. zwischen zwei ROI-Bildern im Vergleich zu dem mit Bezug auf 3 beschriebenen Zeitschema. Aber auch bei einer 60-Hz-Consumer-Kamera, bei der lediglich Vollbilder aufgenommen werden, müssten sowohl für den rechten als auch den linken Stereokanal nacheinander Vollbilder aufgenommen werden, sodass sich auch bei dieser Kamera die Bildwiederholrate für farbige Bilder von 20 Hz auf 10 Hz reduzieren würde. Der mit dem Zeitschema realisierbare Vorteil, wie er mit Bezug auf 3 beschrieben worden ist, bleibt daher erhalten.
Wenn die farbigen Vollbilder nicht dieselbe räumliche Auflösung wie die farbigen ROI-Bilder aufzuweisen brauchen, kann eine Erhöhung der Bildwiederholrate für die Vollbilder und die ROI-Bilder dadurch erzielt werden, dass beim Auslesen der gesamten Sensorfläche 19 (Vollbild) ein Subsampling zur Anwendung kommt. Ein entsprechendes Zeitschema ist in 9 dargestellt. Beispielsweise kann statt jedem Pixel der Sensorfläche 19 nur jedes Zweite Pixel pro Spalte und Zeile ausgelesen werden. Dadurch kann die Auslesedauer, die zum Auslesen der Sensorfläche 19 nötig ist, um einen Faktor 4 reduziert werden. Obwohl das Subsampling nicht auf stereoskopische optische Beobachtungsgeräte beschränkt ist, ist es insbesondere beim Aufnehmen stereoskopischer Bilder vorteilhaft, da dann auch bei einer 60 Hz Consumer-Kamera für Vollbilder eine Bildwiederholrate von 17,1 Hz und im Falle von ROI-Bildern eine Bildwiederholrate von 69 Hz realisiert werden kann. Im Vergleich zu dem mit Bezug auf 8 beschriebenen Zeitschema lässt sich somit die Bildwiederholrate beim Aufnehmen stereoskopischer Bilder mehr als verdoppeln. Die Bildwiederholrate ist dabei sogar höher als die mit dem Zeitschema aus 3 realisierte Bildwiederholrate (bei der kein Subsampling erfolgt ist).
Allgemein lässt sich durch Subsampling, bei dem nur jedes n-te Pixel in einer für ein Vollbild erforderlichen Zeile und nur jede m-te Zeile ausgelesen werden, eine Verkürzung der Auslesedauer um den Faktor n · m erreichen. Da die ROI in der Regel der Blickrichtung des Auges entspricht und das Auge außerhalb der Blickrichtung über eine geringere Winkelauflösung verfügt als in Blickrichtung ist das Aufnehmen der Vollbilder mit Subsampling häufig ohne weiteres möglich.
Eine Verkürzung der Auslesedauer lässt sich auch durch ein sog. Pixel-Binning erreichen. Bei einem Pixel-Binning werden benachbarte Pixel zu Pixelblöcken zusammengefasst und alle Pixel eines Blocks gemeinsam ausgelesen. Wenn ein Block n · m Pixel aufweist, ist eine Verkürzung der Auslesedauer um ebendiesen Faktor möglich.
Eine alternative Variante, wie das Zeitschema aus 3 auf das Aufnehmen von Farbbildern mit einem stereoskopischen Beobachtungsgerät übertragen werden kann, ist in 10 dargestellt. Gemäß diesem Zeitschema erfolgt das Umschalten von dem einen zu dem anderen Stereokanal nicht nach einem Belichtungs- und Auslesezyklus, wie dies im Zeitschema aus 8 der Fall ist, sondern nach jedem Beleuchtungszyklus. Außerdem erfolgt bei einem Wechsel zwischen zwei Belichtungs- und Auslesezyklen ein Wechsel derjenigen Beleuchtung, bei der das erste einfarbige Vollbild aufgenommen wird. In 10 zu erkennen ist, ist der erste Belichtungs- und Auslesezyklus nach dem vierten Beleuchtungszyklus beendet. Der zweite Belichtungs- und Auslesezyklus beginnt mit dem fünften Beleuchtungszyklus. Wäre dieser entsprechend dem ersten Belichtungs- und Auslesezyklus ausgestaltet, würde im ersten Beleuchtungszyklus des zweiten Belichtungs- und Auslesezyklus das Vollbild bei der roten Beleuchtung aufgenommen werden. Stattdessen ist der zweite Belichtungs- und Auslesezyklus derart abgewandelt, dass das erste Vollbild bei der grünen Beleuchtung aufgenommen wird. Das zweite Vollbild wird dann im darauffolgenden Beleuchtungszyklus bei der blauen Beleuchtung aufgenommen. Im nächsten Beleuchtungszyklus wird dann gar kein Vollbild aufgenommen, während im letzten Beleuchtungszyklus des zweiten Belichtungs- und Auslesezyklus dann das rote Vollbild aufgenommen wird.
Der dritte Belichtungs- und Auslesezyklus entspricht dann wieder dem ersten Belichtungs- und Auslesezyklus, der vierte Belichtungs- und Auslesezyklus wieder dem zweiten Belichtungs- und Auslesezyklus usw. Mit andern Worten, im vorliegenden Beispiel wird bei allen ungeradzahlige Belichtungs- und Auslesezyklen das erste Vollbild bei der roten Beleuchtung aufgenommen, bei allen geradzahligen Belichtungs- und Auslesezyklus wird dagegen das erste Vollbild bei grüner Beleuchtung aufgenommen. Dies hat zur Folge, dass bei einem Wechsel zwischen einem ungeradzahligen Belichtungs- und Auslesezyklus vier ROI-Bilder nacheinander aufgenommen werden, bei einem Wechsel von einem geradzahligen Belichtungs- und Auslesezyklus zu einem ungeradzahligen Belichtungs- und Auslesezyklus dagegen nur zwei einfarbige ROI-Bilder. Der beschriebene Wechsel beim Aufnehmen des ersten Vollbildes dient der Sicherstellung, dass für jeden Stereokanal auch tatsächlich Vollbilder in rot, grün und blau aufgenommen werden. Wären im vorliegenden Beispiel alle Belichtungs- und Auslesezyklen identisch, so würden für den rechten Stereokanal stets nur rote und blaue Vollbilder, für den linken Stereokanal stets nur grüne Vollbilder aufgenommen.
Die mit dem in 10 dargestellten Zeitschema für stereoskopische Farb-Vollbilder bzw. stereoskopische ROI-Bilder realisieren durchschnittliche Bildwiederholraten entsprechen den Bildwiederholraten, die mit dem in 8 gezeigten Zeitschema realisierbar sind. Da ein häufigerer Wechsel zwischen den Stereokanälen erfolgt, sind die Schwankungen der Zeitdauer zwischen zwei aufeinanderfolgenden farbigen ROI-Bildern jedoch geringer als im Zeitschema gemäß 8.
Wie sich aus 8 ablesen lässt, ist das letzte farbige ROI-Bild des rechten Beobachtungskanals im ersten Belichtungs- und Auslesezyklus nach 68,5 Millisekunden ausgelesen. Das erste farbige ROI-Bild des zweiten Belichtungs- und Auslesezyklus des rechten Stereokanals ist nach 155,6 Millisekunden ausgelesen. Zwischen dem letzten farbigen ROI-Bild des ersten Zyklus für den rechten Stereokanal und dem ersten farbigen ROI-Bild des zweiten Zyklus des rechten Stereokanals vergehen also 87,1 Millisekunden. Innerhalb eines Belichtungs- und Auslesezyklus für den rechten Stereokanal beträgt die Zeitdauer zwischen zwei farbigen ROI-Bildern dagegen nicht mehr als 20,4 Millisekunden. Die geringste Zeitdauer zwischen zwei farbigen ROI-Bildern des rechten Stereokanals innerhalb eines Belichtungs- und Auslesezyklus beträgt lediglich 5,5 Millisekunden (zwischen dem letzten und dem vorletzten ROI-Bild des rechten Stereokanals im ersten Belichtungs- und Auslesezyklus). Es liegen daher recht große Schwankungen in der Zeitdauer zwischen zwei farbigen ROI-Bildern im Zeitschema aus 8 vor.
In dem in 10 dargestellten Zeitschema beträgt die Zeitdauer zwischen zwei ROI-Bildern dagegen nicht mehr als 40,8 Millisekunden, da nach jedem ROI-Bild der Stereokanal gewechselt wird. Die minimale Zeitdauer zwischen zwei ROI-Bildern ist in dem in 10 dargestellten Zeitschema 25,9 Millisekunden (zwischen dem dritten ROI-Bild und dem zweiten ROI-Bild des rechten Stereokanals). Die Schwankungen zwischen zwei farbigen ROI-Bildern sind daher deutlich geringer als in dem in 8 dargestellten Zeitschema. Allerdings erhöht sich im Zeitschema gemäß 10 die maximale Zeitdauer zwischen der Aufnahme eines einfarbigen Vollbildes und der Synthetisierung des Farb-Vollbildes auf maximal 107,4 Millisekunden (für das rote Vollbild), wohingegen die maximale Zeitdauer zwischen der Aufnahme eines einfarbigen Vollbildes und der Synthetisierung des Farb-Vollbildes im Zeitschema aus 8 nur bei 61,11 Millisekunden liegt. Je nach Anwendung bzw. Schnelligkeit der beim Beobachtungsobjekt zu erwartenden Bewegung ist abzuwägen, ob das Zeitschema aus 8 oder das Zeitschema aus 10 zur Anwendung kommen soll.
Auch das Zeitschema aus 4, in dem die Vollbilder bei Beleuchtung des Beobachtungsobjekts mit weißem Licht und die ROI-Bilder mit zeitsequentieller farbiger Beleuchtung aufgenommen werden, kann auf ein stereoskopisches optisches Beobachtungsgerät übertragen werden. Ein entsprechendes Zeitschema ist in 11 dargestellt. Die für ein stereoskopisches Farbbild bzw. ein stereoskopisches ROI-Bild realisierbaren Bildwiederholraten betragen bei diesem Zeitschema 22,4 Hz, was einer Zeitdauer zwischen zwei Vollbildern bzw. zwischen zwei ROI-Bildern von 44,4 Millisekunden entspricht.
Außer dem Aufnehmen von Farbbildern lässt sich auch das Aufnehmen von Farbbildern und beispielsweise Fluoreszenzbildern oder Bildern außerhalb des visuellen Spektralbereichs auf die Aufnahme stereoskopischer Bilder übertragen. Die dabei möglichen Zeitschemata sind in den 12 bis 14 dargestellt. Sie entsprechen im Wesentlichen den Abläufen aus den 8, 10 und 11, wobei die Zeitschema jedoch um einen vierten Spektralbereich der Lampe L4, mit dem beispielsweise eine Fluoreszenz angeregt werden kann, ergänzt sind.
In dem in 12 dargestellten Zeitschema, das den Ablauf aus 8 entspricht, lässt sich so eine Bildwiederholrate für ein farbiges Stereo-Vollbild von 5,2 Hz erreichen, eine Bildwiederholrate für ein farbiges Stereo-ROI-Bild von 26 Hz. Dies entspricht einer Zeitdauer zwischen zwei farbigen Stereo-Vollbildern von 192,6 Millisekunden bzw. zwischen zwei farbigen Stereo-ROI-Bildern von 38,5 Millisekunden. Durch Anwenden von Subsampling im Falle der Aufnahme der Vollbilder können die Bildwiederholraten aber erhöht werden.
Im Falle des in 13 dargestellten Zeitschemas, das dem Ablauf aus 10 entspricht, ergeben sich dieselben mittleren Bildwiederholraten für die farbigen Stereo-Vollbilder und die farbigen Stereo-ROI-Bilder wie beim Zeitschema aus 12. Die mit Bezug auf die Zeitschemata aus den 8 und 10 erfolgten Erläuterungen hinsichtlich der maximalen Zeitdauer zwischen zwei farbigen stereoskopischen Vollbildern und zwischen der Aufnahme eines einfarbigen Vollbildes und der Wiedergabe des farbigen Vollbildes gelten entsprechend auch für die Zeitschemata aus den 12 und 13. Im Unterschied zum Zeitschema aus 10 braucht bei dem in 13 dargestellten Zeitschema zwischen zwei aufeinander folgenden Belichtungs- und Auslesezyklen zu erfolgen kein Wechsel der Beleuchtungsfarbe für das erste Vollbild.
Auch die in 7 dargestellte Variante eines Zeitschemas zum Aufnehmen schwarzweißer Vollbilder, farbiger ROI-Bilder sowie von Fluoreszenzbildern, lässt sich auf die Aufnahme stereoskopischer Bilder übertragen. Ein entsprechendes, auf die Aufnahme stereoskopischer Bilder übertragenes Zeitschema ist in 14 dargestellt. Nach jedem Beleuchtungszyklus erfolgt ein Wechsel zwischen den Stereokanälen, sodass sich die Bildwiederholraten gegenüber dem in 7 dargestellten Zeitschema halbieren bzw. die Zeitdauer zwischen zwei aufeinanderfolgenden Stereobildern verdoppeln. Dies gilt sowohl für Vollbilder als auch für ROI-Bilder.
Das beschriebene Verfahren kann aber nicht nur zum Aufnehmen von Farbbildern oder zum Aufnehmen Farbbildern und Fluoreszenzbildern oder Bildern außerhalb des visuellen Spektralbereichs herangezogen werden, sondern erfindungsgemäß auch zum schnellen Erweitern der Tiefenschärfe von Bildern. Beispielsweise bei Operationsmikroskopen mit Varioskop kann die Fokuslage des Mikroskops im Beobachtungsobjekt durch geeignetes Einstellen des Varioskops verändert werden. Wenn nun in rascher Folge Bilder bei verschiedenen Fokuslagen aufgenommen werden (sog. z-Stapel), so kann aus diesem z-Stapel ein Bild mit erhöhter Tiefenschärfe (EDOF-Bild, EDOF: Extended Depth of Field) synthetisiert werden. Um eine Echtzeitfähigkeit dieses Verfahrens zu erreichen, wie sie bei einer Operation gefordert ist, muss die Bildwiederholrate der Kamera beim ausschließlichen Aufnehmen von Vollbildern wesentlich höher (möglichst > 300 Hz) sein, als sie typischerweise von einer preisgünstigen Consumer-Kamera zur Verfügung gestellt wird (60 Hz). Das erfindungsgemäße Verfahren kann aber auch im Rahmen von anderen Methoden zum Erweitern der Tiefenschärfe Verwendung finden, in denen Bilder bei verschiedenen Fokuslagen aufgenommen werden.
Wie beim Aufnehmen von Farbbildern gilt auch beim Aufnehmen von Bildern mit erhöhter Tiefenschärfe, dass sich die wichtigste Bildinformation in der Regel im ROI befindet. Dies ermöglicht es, das Vollbild lediglich für eine einzige Fokuslage des z-Stapels auszulesen, vorzugsweise für eine mittlere Fokuslage, und für die übrigen Fokuslagen lediglich das ROI-Bild auszulesen, also lediglich denjenigen Teilbereich 21 des Sensors 5, auf dem sich das ROI-Bild befindet. Dadurch wird eine erhöhte Tiefenschärfe im ROI-Bild erreicht, wohingegen die übrigen, peripheren Bereiche des Vollbildes keine erhöhte Schärfentiefe aufweisen.
Ein Zeitschema zum Aufnehmen eines z-Stapels mit sieben Fokuslagen mit Hilfe einer Consumer-Kamera, die eine Bildwiederholrate von 60 Hz für Vollbilder besitzt, ist in 15 dargestellt. Es erfolgen Belichtungen des Bildsensors 5 bei sieben unterschiedlichen Fokuslagen (Ziffer 4 in 15), wobei lediglich nach der Belichtung in der mittleren Fokuslage die gesamte Sensorfläche 19 ausgelesen wird. Bei den übrigen Fokuslagen (Ziffern 1 bis 3 und 5 bis 7 in 15) erfolgt lediglich das Auslesen der Teilfläche 21 des Sensors 5. Auf diese Weise kann mit einer 60 Hz Consumer-Kamera eine Bildwiederholrate für ein Bild, das eine erhöhte Tiefenschärfe im Bereich des ROI aufweist, von 36 Hz realisiert werden. Wenn mit der 60 Hz Consumer-Kamera nur Vollbilder aufgenommen würden, wäre lediglich eine Bildwiederholrate von 8,5 Hz möglich.
16 zeigt die mit einer 60 Hz Consumer-Kamera erreichbaren Bildwiederholraten (frame rates) in Abhängigkeit von der Anzahl der Fokuslagen in einem z-Stapel. Dabei zeigt die untere Kurve die nach Stand der Technik erzielbaren Bildwiederholraten. Die obere Kurve zeigt, die mit einem dem Zeitschema aus 15 entsprechenden Zeitschema realisierbaren Bildwiederholraten, also wenn für eine vorzugsweise mittlere Fokuslage ein Vollbild und für die übrigen Fokuslagen ROI-Bilder aufgenommen werden, wobei die Fläche der interessierenden Bildregion (ROI) auf dem Kamerachip 1/9 des Vollbildes entspricht. Die Figur zeigt, dass selbst für einen z-Stapel von zwölf Fokuslagen Bilder mit einer erhöhten Schärfentiefe im ROI realisierbar sind, die eine Bildwiderholrate von 27 Hz aufweisen und somit noch über der Kino-Norm von 24 Hz liegen, während gemäß Stand der Technik bereits z-Stapel mit nur drei Fokuslagen unter einer Bildwiederholrate von 24 Hz liegen.
In allen beschriebenen Verfahren kann die Positionierung der die ROI repräsentierende Teilfläche 21 auf der Sensorfläche 19 bspw. mit Hilfe eines Eye-Trackers geschehen. Mittels des Eye-Trackers erfolgt eine Bestimmung der Blickrichtung des Beobachters und ein Nachführen der Teilfläche 21 auf der Sensorfläche anhand der ermittelten Blickrichtung. Das Ermitteln der Blickrichtung und das Aktualisieren der Lage der Teilfläche 21 erfolgt dabei mit einer Rate von weniger als 20 Hz und vorzugsweise mit einer Rate von weniger als 10 Hz. Besonders vorteilhaft ist es, wenn das Bestimmen der Blickrichtung und das Aktualisieren der Lage der Teilfläche 21 auf der Sensorfläche 19 mit einer Rate im Bereich zwischen 5 und 10 Hz erfolgen. Mit einer Rate in diesem Bereich lässt sich einerseits das Nachführen der Teilfläche auf der Basis von Sakkaden vermeiden. Andererseits ist eine Rate von 5 bis 10 Hz hoch genug, um keine störende Verzögerung zwischen einem Wechsel der Blickrichtung und dem Nachführen der ROI zu bewirken.
Im Rahmen des erfindungsgemäßen Verfahrens können darüber hinaus Bewegungen des optischen Beobachtungssystems ausgeglichen werden. Erfolgt beispielsweise eine Bewegung senkrecht zur optischen Achse (etwa aufgrund Vibrationen) so besteht die Möglichkeit, diese beispielsweise mittels Beschleunigungssensoren oder einer Registrierung von zeitlich aufeinanderfolgenden Bildern zu erkennen und eine Verschiebung der ROI auf dem Bildsensor durchzuführen, welche die Bewegung des optischen Beobachtungssystems kompensiert.
Zudem kann das beschriebene Verfahren auch vorteilhaft bei Überwachungskameras eingesetzt werden. Bei einer Überwachung mittels Kamera (beispielsweise in öffentlichen Gebäuden, zur Grenzraumüberwachung oder bei militärischer Aufklärung) tritt häufig das Problem auf, dass nur eine begrenzte Bandbreite zur Übertragung der gewonnenen Bildinformation an eine Überwachungsstelle zur Verfügung steht. Auch für derartige Anwendungen lässt sich das beschriebene Prinzip heranziehen, wobei jedoch nicht eine ausreichend hohe Bildwiederholrate erzielt werden soll, sondern die Übertragungsrate von der zur Überwachung eingesetzten Kamera an die Überwachungsstelle verringert werden soll. Das beschriebene Verfahren ermöglicht es dabei, Vollbilder mit geringer Bildwiederholrate zu übertragen und ROI-Bilder mit einer normalen Bildwiederholrate. Da für ein ROI-Bild eine geringere Bandbreite nötig ist, kann insgesamt die Bandbreite, die zum Übertragen der Überwachungsbilder nötig ist, verringert werden. Wenn zudem am Ort der Kamera eine Auswerteeinheit vorhanden ist, die beispielsweise anhand von Bewegungen im Bild die ROI festlegen kann, kann eine solche Überwachungskamera weitgehend autonom agieren.
Bei den im optischen Beobachtungsgerät verwendeten Lichtquellen kann es sich insbesondere um LEDs handeln, die im roten, grüne bzw. blauen Wellenlängenbereich emittieren. Aber auch andere Wellenlängenbereiche, die einen RGB-Farbraum oder CMY-Farbraum aufspannen, können zur Anwendung kommen. Zudem besteht die Möglichkeit weitere Lichtquellen vorzusehen, die beispielsweise im infraroten oder ultravioletten Spektralbereich emittieren.
Für optische Beobachtungsgeräte, die für Anwendungen am Auge vorgesehen sind, ist es vorteilhaft, die Belastung des Patienten mit Licht gering zu halten, um die Sehzellen nicht zu schädigen. Die Verwendung einer Infrarotbeleuchtung ermöglicht es, die Belastung zu verringern, da diese eine spektrale Abhängigkeit aufweist. So kann beispielsweise das IR-Bild dazu verwendet werden, dem behandelnden Chirurgen eine Orientierung zu ermöglichen, und das Farbbild dazu, verschiedene Gewebearten im Auge zu erkennen.
Eine UV-Beleuchtung kann dazu Verwendung finden, Fluoreszenz im Untersuchungsobjekt anzuregen. Dabei kann entweder eine Autofluoreszenz des Gewebes oder Fluoreszenz eines injizierten Farbstoffes angeregt werden.
In Rahmen des beschriebenen Verfahrens können zudem die Beleuchtungszeiten mit den einzelnen Lichtquellen so gesteuert werden, dass die Einzelbilder optimal ausgesteuert sind, das heißt ein optimales Signal-zu-Rauschen-Verhältnis aufweisen. Außerdem ist es möglich, die Beleuchtungszeiten im Hinblick auf eine möglichst geringe Gewebebelastung zu wählen. Weiterhin ermöglicht es das Vorsehen getrennter Lichtquellen mit unterschiedlichen Spektralbereichen den Weißpunkt der Beleuchtung zu optimieren und gleichzeitig die aufzubringende Lichtmenge zu optimieren.
Wird die Bildaufnahme außerdem um ein weiteres Bild erweitert, bei dem alle Beleuchtungen ausgeschaltet sind, so kann dieses „dunkle Bild“ dazu verwendet werden, das Umgebungslicht von den „Farbbildern“ abzuziehen, um eine Beeinflussung der Farbdarstellung sowohl im visuellen als auch im außervisuellen Bereich durch Umgebungslicht zu vermindern. Es ist auch möglich, mehr als drei Farben im visuellen Bereich zu verwenden, um die Differenzierung von Farben zu verbessern, das heißt um Farbunterschiede von Objekten besser erkennen zu können. Die Auswertung der Farbunterschiede kann automatisiert werden. Beispielsweise ist es auch möglich, lediglich die Farbunterschiede zur Darstellung zu bringen. Bei Verwendung von Vier-Farben-Displays ist es außerdem möglich, über die Benutzung von vier spektral angepassten Lichtquellen auf eine Verrechnung von Farbbildern verzichten zu können. Vielmehr werden der aufgenommene und der wiedergegebene Farbraum aneinander angepasst.
Obwohl in den Beispielen das Aufnehmen dreidimensionaler Bilder am Beispiel von stereoskopischen Bildern beschrieben worden ist, kann das beschriebene Verfahren auch bei anderen Arten der Aufnahme von dreidimensionalen Bildern zur Anwendung kommen, etwa bei der Aufnahme von Bildern mit einer plenoptischen Beobachtungsoptik oder einer Beobachtungsoptik, wie sie in DE 10 2011 010 262 A1 beschrieben ist.
Mit dem beschriebene Verfahren und dem beschriebene optischen Beobachtungsgerät lässt sich die Bildwiederholrate im interessierenden Bildbereich (ROI) gegenüber dem Stand der Technik deutlich erhöhen, wohingegen die Bildwiederholrate für Vollbilder lediglich geringfügig verringert wird. Auf diese Weise ist es möglich, selbst mit langsamen Consumer-Kameras, die lediglich eine Bildwiederholrate von 60 Hz realisieren können, eine Farbbildaufnahme mit zeitsequentieller farbiger Beleuchtung zu realisieren, wobei im ROI eine Bildwiederholrate von mehr als 50 Hz erreicht werden kann. Selbst für eine Stereoaufnahme mit lediglich einem Bildsensor lassen sich Bildwiederholraten erreichen, die über der Kino-Norm von 24 Hz liegen. Weiterhin bieten das beschriebene Verfahren und das optische Beobachtungsgerät den Vorteil, dass die Wahrnehmung von Farbsäumen durch bewegte Objekte verringert wird. Darüber hinaus bieten das beschriebene Verfahren und das beschriebene optische Beobachtungsgerät den Vorteil, dass die Verzögerung zwischen der Bildaufnahme und der Bilddarstellung für die ROI geringer als im Stand der Technik ist.
Bezugszeichenliste

1: Beobachtungsoptik
3: Kamera
5: elektronischer Bildsensor
7: Recheneinheit
L1 ... LN: Lichtquellen
9: Darstellungseinheit
11: Zusammenführeinrichtung
13: Beleuchtungsoptik
15: Steuereinheit
17: Beobachtungsobjekt
19: Sensorfläche
21: ROI (region of intrest)
23: Spektralfilter

Claims

Verfahren zum Aufnehmen von Bildern eines Beobachtungsobjekts (17) mit einem elektronischen Bildsensor (5), in dem: - ein Vollbild auf eine belichtete Sensorfläche (19) des Bildsensors (5) abgebildet wird, wobei eine interessierende Bildregion des Vollbildes auf eine Teilfläche (21) des Bildsensors (5) abgebildet wird, und - die Aufnahme der Bilder erfolgt, indem der Bildsensor (5) für das jeweilige Bild belichtet und nach jeder Belichtung ausgelesen wird, wobei auf ein Belichten des Bildsensors (5) und ein Auslesen der gesamten für ein Vollbild belichteten Sensorfläche (19) wenigstens ein mal ein Belichten des Bildsensors (5) und ein Auslesen nur der Teilfläche (21) des Bildsensors (5) mit der interessierenden Bildregion erfolgt, bevor wieder ein Belichten des Bildsensors (5) und ein Auslesen der gesamten belichteten Sensorfläche (19) erfolgt, wobei Belichtungs- und Auslesezyklen vorhanden sind und in einem Belichtungs- und Auslesezyklus Belichtungen bei M verschiedenen Fokuslagen erfolgen und nach der Belichtung bei einer bestimmten Fokuslage der M Fokuslagen ein Auslesen der gesamten belichteten Sensorfläche (19) erfolgt wohingegen nach den Belichtungen bei den übrigen M-1 Fokuslagen jeweils nur ein Auslesen der Teilfläche (21) des Bildsensors (5) mit der interessierenden Bildregion erfolgt..
Verfahren nach Anspruch 1, in dem eine Belichtung des Bildsensors (5) für das i-te Bild während des Auslesens des i-1 -sten Bildes erfolgt.
Verfahren nach Anspruch 2, in dem die Intensität Beleuchtung für die i-te Belichtung gegenüber der Beleuchtung für die i-1-ste Belichtung herabgesetzt ist, wenn zum Auslesen des i-1-sten Bildes die gesamte belichtete Sensorfläche (19) ausgelesen wird.
Verfahren nach Anspruch 2, in dem die Belichtungsdauer für die i-te Belichtung gegenüber der Belichtungsdauer für die i-1-ste Belichtung herabgesetzt ist, wenn zum Auslesen des i-1-sten Bildes die gesamte belichtete Sensorfläche (19) ausgelesen wird.
Verfahren nach einem der Ansprüche 1 bis 4, in dem beim Auslesen der gesamten Sensorfläche (19) nur jede j-te Sensorzeile und/oder nur jede k-te Sensorspalte mit j > 1, k > 1 ausgelesen wird bzw. werden oder in dem Pixel des Bildsensors zu Pixelblöcken zusammengefasst werden und die Pixel eines Pixelblockes jeweils gemeinsam ausgelesen werden.
Verfahren nach einem der Ansprüche 1 bis 5, in dem die bestimmte Fokuslage eine mittlere Fokuslage ist.
Verfahren nach einem der vorangehenden Ansprüche, in dem die Position der interessierenden Bildregion im Vollbild durch Bestimmen der Blickrichtung eines das Vollbild betrachtenden Beobachters ermittelt wird.
Verfahren nach Anspruch 7, in dem die Blickrichtung wiederholt ermittelt und die Position der die interessierende Bildregion repräsentierenden Teilfläche (21) des Bildsensors (5) auf der Sensorfläche (19) anhand der jeweils aktuell ermittelten Blickrichtung aktualisiert wird.
Verfahren nach Anspruch 7 oder Anspruch 8, in dem das Ermitteln der Blickrichtung mit einer Rate von weniger als 20 Hz erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, in dem mittels einer Bilderkennungssoftware ein bewegtes Objekt im Vollbild erkannt wird und die die interessierende Bildregion im Vollbild repräsentierende Teilfläche (21) des Bildsensors (5) so auf der belichteten Sensorfläche (19) positioniert und dem Bild des bewegten Objekts auf der belichteten Sensorfläche (19) nachgeführt wird, dass das Bild des bewegten Objekts in der Teilfläche (21) verbleibt.
Verfahren nach einem der vorangehenden Ansprüche, in dem als Bilder des Beobachtungsobjekts (17) dreidimensionale Bilder aufgenommen werden, die aus wenigstens zwei unter verschiedenen Sichtwinkeln aufgenommenen Perspektivbildern zusammengesetzt sind, wobei alle Perspektivbilder zeitsequentiell mit einem elektronischen Bildsensor (5) aufgenommen werden und das Verfahren nach einem der vorangehenden Ansprüche auf das Aufnehmen der Perspektivbilder angewandt wird.
Computer-Programm mit Anweisungen zur Durchführung des Verfahrens nach einem der vorangehenden Ansprüche.
Optisches Beobachtungsgerät zum Aufnehmen von Bildern eines Beobachtungsobjekts mit - wenigstens einem elektronischen Bildsensor (5), - einer Beobachtungsoptik (1), die ein Objektfeld des Beobachtungsobjekts (17) als Vollbild auf die belichtete Sensorfläche (19) des Bildsensors (5) abbildet, - einer Auswahleinrichtung zum Auswählen einer Teilfläche (21) des Bildsensors (5), die einer interessierenden Bildregion des Vollbildes entspricht, und - einer Sensorsteuereinheit, die zum Steuern des Belichtens und Auslesens des Bildsensors nach dem Verfahren gemäß einem der Ansprüche 1 bis 11 ausgebildet ist.