DE102012107191A1

DE102012107191A1 - Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich

Info

Publication number: DE102012107191A1
Application number: DE201210107191
Authority: DE
Inventors: Stefan Seidlein; Reiner Köllner
Original assignee: Jenoptik Optical Systems GmbH
Current assignee: Jenoptik Optical Systems GmbH
Priority date: 2012-08-06
Filing date: 2012-08-06
Publication date: 2014-02-06

Abstract

Die Erfindung betrifft ein Verfahren zur hochauflösenden digitalen Bildaufnahme mit hohem Dynamikbereich. Die Aufgabe, eine verbesserte Möglichkeit zur hochauflösenden Farbbildaufnahme mit deutlich verbessertem Dynamikbereich zu finden, ohne dass sich die erforderliche Aufnahmezeit unzumutbar erhöht, wird erfindungsgemäß gelöst, indem Zwischenabtastungen von Bruchteilen der Mittenabstände der Sensorelemente des Farbsensors zusätzlich in die Scanbewegung eines Color-CoSite-Sampling integriert werden, sodass mittels Microscannings zusätzliche Teilbildaufnahmen mindestens eine Verdoppelung der Abtastdichte erzeugen und an jeder Abtastposition des Color-CoSite-Sampling und der Zwischenabtastungen zusätzliche Teilbildaufnahmen bei unterschiedlichen Empfindlichkeits- oder Belichtungszeiteinstellungen des Farbsensors zur Erzeugung eines High-Dynamic-Range-Imaging vorgenommen werden.

Description

Die Erfindung betrifft ein Verfahren zur hochauflösenden digitalen Bildaufnahme mit hohem Dynamikbereich, bei dem mittels Scanbewegung eines zweidimensionalen Farbsensors eine Auflösungserhöhung der Bildaufnahme durch sukzessive Überdeckung der unterschiedlich farbempfindlichen Sensorelemente mittels Color-Co-site-Sampling vorgenommen wird.
Zur Aufnahme von Bildern jeglicher Objekte werden heutzutage insbesondere CCD- oder CMOS-Kameras verwendet. Um Farbbilder zu erzeugen, ist es bekannt, mit Hilfe einer aufgebrachten Farbmaske einen CCD- oder CMOS Sensor durch eine aufgebrachte Farbmaske in drei Farbkanäle, bspw. rot, grün und blau, zu unterteilen. Dabei ist es üblich in einer Zeile grün- und rotempfindliche Pixel und in der unmittelbar benachbarten Zeile blau- und grünempfindliche Pixel in Wechsel anzuordnen. Jeweils eine Gruppe von benachbarten grün-/rot- und blau-/grünempfindlichen Pixeln bildet dann im weitesten Sinne einen Bildpunkt im Bild. Um trotz der Ausfallpixel gegenüber der nominellen Anzahl der Sensor-Pixel das mögliche Auflösungsvermögen zu erreichen, wird üblicherweise eine sogenannte Interpolation durchgeführt. Die Interpolation hat den Nachteil, dass nur genäherte Farbwerte bereitgestellt werden können (keine gemessenen Farben).
Zur vollständigen Kompensation des Farbverlustes ist es bekannt, das sogenannte Color-Co-Site-Sampling-Verfahren anzuwenden, das z.B. in der DE 38 37 063 C1 beschrieben ist. Dazu wird der CCD-Sensor durch eine hochpräzise Piezomechanik relativ zu dem aufzunehmenden Objekt derart verschoben, dass nacheinander jeweils an vier Positionen jeweils ein Bild erstellt wird, die eine gleiche Relativlage zueinander haben wie vier Pixel einer Gruppe. Dadurch wird ein und derselbe Bildpunkt des Objekts nacheinander zweimal durch den grünen sowie jeweils einmal durch den roten und blauen Farbkanal detektiert, wobei sich die Aufnahmezeit für ein Objekt vervierfacht, wenn man die Zeit zur Umpositionierung vernachlässigt. Durch Verkämmung der zeitlich nacheinander erstellten Bilder wird dann ein Gesamtbild erstellt.
Es ist des Weiteren bekannt, dass durch ein zusätzliches Microscanning die Auflösung erhöht werden kann. Dabei werden in Positionen zwischen den Sensorelementen zusätzliche Aufnahmen erstellt. Ein Gesamtbild wird dann folglich nicht nur aus vier, sondern aus 16 oder 36 (in Subpixelschrittabständen) örtlich verschoben ausgelesenen Teilbildern erstellt. Auf Grund der endlichen Apertur der Pixel ist dieses Verfahren jedoch auf maximal 50% Pixelüberlappung begrenzt.
Bei der Aufnahme von fluoreszierenden Präparaten, treten Artefakte im Gesamtbild auf, die durch die abnehmende Fluoreszenzintensität der zeitlich nacheinander aufgenommenen Bilder entstehen. In der US 5,682,567 wird zur Vermeidung derartiger Artefakte beschrieben, dass die von Bild zu Bild abnehmende Fluoreszenzintensität durch eine zunehmende Verlängerung der Belichtungszeit für die einzelnen Bilder kompensiert wird. Die dafür erforderliche Korrektur der Belichtungszeit wird jeweils vorher berechnet anhand der Kenntnis der Abnahme der Fluoreszenz. Dies setzt allerdings voraus, dass der zeitliche Fluoreszenzverlauf bekannt ist und die Abnahme der Fluoreszenz, die sich für Präparate unterschiedlicher Inhaltsstoffe unterscheiden kann, dann auch tatsächlich diesem vorbekannten Verlauf entspricht.
Ein ähnliches Verfahren ist in der EP 1 235 424 A2 zur Aufnahme von Fluoreszenzbildern angegeben, bei dem die Fading-Artefakte infolge des durch die Vielzahl der Teilbildaufnahmen erhöhten Zeitbedarfs für eine komplette hochauflösende Bildaufnahme nicht durch einen schrittweise verlängerte Aufnahmezeit, sondern durch einen nachgeordneten (nach der Bildverschachtelung) durchgeführten Intensitätsausgleich in Abhängigkeit vom Zeitverlauf der einzelnen Teilbildaufnahmen beseitigt werden.
Allen vorstehend beschriebenen Lösungsansätzen zur hochauflösenden Farbbildaufnahme haftet der Nachteil an, dass infolge der erforderlichen Sensorverschiebungen zur Aufnahme der Teilbilder, sei es zur Realisierung des Color-Co-Site-Sampling-(CCS-)Verfahrens oder zur Auflösungserhöhung stets die Aufnahmezeit erhöht wird. Zur Einhaltung konstanter bzw. vergleichbarer Bedingungen sind dann gegebenenfalls auch noch Belichtungszeitkorrekturen oder adaptierte Verstärkungsfaktoren erforderlich, die eine HDR-Bildaufnahme (High Dynamic Range Imaging) mit weiteren zusätzlichen Teilbildaufnahmen eigentlich verbietet, wenn man die Korrekturerfordernisse für n mit unterschiedlicher Empfindlichkeit/Belichtungszeit aufgenommene Teilaufnahmen nicht noch vervielfachen will.
Der Erfindung liegt die Aufgabe zugrunde, eine verbesserte Möglichkeit zur hochauflösenden Farbbildaufnahme, insbesondere für die Mikroskopie, auch bei Bildaufnahmen mit hoher Farbtiefe und Signaldynamik von anderen kontrastreichen ruhender Szenen, zu finden, bei der der Dynamikbereich der Bildaufnahme deutlich verbessert ist, ohne dass Aufnahmezeit und/oder Korrekturen der unterschiedlichen Belichtungszustände für die Vielzahl der Teilbildaufnahmen unzumutbar erhöht werden.
Erfindungsgemäß wird die Aufgabe mit einem Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich, bei dem mittels Scanbewegung eines zweidimensionalen Farbsensors eine Auflösungserhöhung der Bildaufnahme durch sukzessive Überdeckung aller unterschiedlich farbempfindlichen Sensorelemente mittels Color-Co-site-Sampling vorgenommen wird, dadurch gelöst, dass Zwischenabtastungen mit Abtastschritten von einem Bruchteil der Mittenabstände der Sensorelemente des Farbsensors als zusätzliche Abtastpositionen in die Scanbewegung des Color-CoSite-Sampling integriert werden, sodass mittels eines so definierten Microscannings zusätzliche Teilbildaufnahmen mindestens eine Verdoppelung der Abtastdichte in jeder Dimension des Farbsensors erzeugen, und dass an jeder Abtastposition, sowohl der vom Color-CoSite-Sampling vorgesehenen Positionen der Sensorelemente als auch der durch Zwischenabtastung zusätzlich angefahrenen Abtastpositionen, zusätzliche Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen oder Belichtungszeiteinstellungen des Farbsensors zur Erzeugung eines High-Dynamic-Range-Imaging vorgenommen werden.
Vorteilhaft wird bei Verwendung eines Farbsensors mit GRBG-Bayerfarbmaske ein Gesamtbild aus Teilbildern von vier Color-Co-site-Sampling-Positionen und von einem mindestens eine Zwischenabtastung je Pixelmittenabstand und Dimension des Farbsensors aufweisendem 4 × 4-Microscanning zusammengesetzt.
Zweckmäßig wird das Microscanning mit einem regelmäßigen zeilenförmigen oder spaltenförmigen Scanmuster durchgeführt. Dabei erweist es sich als vorteilhaft, das Microscanning mit einem regelmäßigen mäanderförmigen Scanmuster durchzuführen. Vorzugsweise kann das Microscanning mit einem regelmäßigen verkürztem maänderförmigen Scanmuster durchgeführt werden, bei dem die Color-Co-site-Sampling-Positionen mit angeglichenem zeitlichen Abstand angefahren werden.
Es erweist sich als besonders vorteilhaft, wenn das Microscanning mit einem unregelmäßigen Scanmuster durchgeführt wird, bei dem die Color-Co-site-Sampling-Positionen und die Zwischenabtastpositonen für die einzelnen Teilbildaufnahmen mit möglichst ähnlichem zeitlichem Abstand angefahren werden, wobei benachbarte Abtastpositionen, die in einem regulären mäanderförmigen Scanraster direkt nacheinander abgetastet würden, mit einem zeitlichen Abstand von mindestens zwei Microscanschritten angefahren werden.
Zur Erhöhung des Dynamikbereichs der Bildaufnahme erweist es sich bereits als zweckmäßig, wenn zur Realisierung eines HDR-Imaging zwei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden. Als besonders vorteilhaft können für das HDR-Imaging drei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden.
Um eine besonders flexibel einsetzbare Kamera zur Verfügung zu haben, werden in deren Steuerelektronik zur Realisierung von verschiedenen Auflösungsstufen der Farbaufnahmen unterschiedliche Einstellungen von Microscanmodi des Scanners und Ansteuer- und Auslesemodi des Farbsensors gespeichert.
Die Erfindung basiert auf der Grundüberlegung, dass Profi-Anwender hochauflösender Farbbildkameras, wie z.B. in der Mikroskopie, der Fotografie oder auch generell im Vermessungs- bzw. Analysebereich, wenn digitale Bildaufnahmen zusätzlich mit hohen Dynamikbereichen erfasst werden sollen, gezwungen sind, dieselbe Aufnahme mehrfach mit unterschiedlichen Belichtungszeiten zu wiederholen, damit allen Anforderungen Genüge getan wird. Eine lediglich für makroskopische Szenen hilfreiche Alternative bestünde darin, eine extrem teure HDR-Kamera mit mehrfach höherer Pixelzahl des Bildsensors zu verwenden, um wenigstens die Sensorbewegung für die Auflösungserhöhung (Color Co-site Sampling und/oder Microscanning) bei respektabler Bildrate der verschachtelten Gesamtbilder zu erreichen.
Die Erfindung sucht hier den praktikablen Kompromiss, die an sich bekannten Verfahren von Microscanning zur generellen Auflösungssteigerung, CCS zur Beseitigung von Farbartefakten und HDR-Imaging zur Erhöhung der Farbtiefe (Dynamikbereich) in geeigneter Weise zu kombinieren, indem eine geschickte Verschachtelung von Teilbildaufnahmen für einzelne Schritte verschiedener der drei Verfahren gewählt wird. Im Ergebnis werden wertvolle Aufnahme- und Einstellzeiten (Overhead time) gegenüber den sonst üblichen Mehrfachaufnahmen eingespart.
Die Vereinigung von RGB-Teilbildern im CCS-Modus (vier Sensorverschiebungen im Quadrat mit jeweils 1/1-Pixelabstand) mit zusätzlichen (mindestens einem) Subpixelschritten zwischen den CCS-Positionen sowie mehreren Sensorauslesungen bei unterschiedlichen Integrationszeiten auf jeder Microsan-Position des Matrixsensors ergibt bei erhöhter (wenigstens zweifacher) Auflösung einen Dynamikumfang von 14, 16 oder mehr Bit Farbtiefe des Gesamtbildes. Ferner ist dasselbe Prinzip für Schwarz-Weiß- bzw. Graustufenbilder anwendbar.
Durch die Erfindung ist es möglich, hochauflösende Farbbildaufnahmen, insbesondere in der Mikroskopie, aber auch bei Bildaufnahmen mit hoher Farbtiefe und Signaldynamik von kontrastreichen ruhenden Szenen, zu realisieren, bei denen der Dynamikbereich der Bildaufnahme verbessert wird, ohne dass sich Aufwände für Aufnahmezeit, Sensorpixelzahl und/oder Korrekturen der unterschiedlichen Belichtungszustände für die Vielzahl der Teilbildaufnahmen unzumutbar erhöhen.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen und Abbildungen näher erläutert. Dabei zeigen:.
1: eine schematische Darstellung des erfindungsgemäßen Verfahrens mit einem 16-Schritt-Microscanning (4 × 4-Microscanning) eines Matrixsensors für eine verschachtelte Microscanning-, CCS- und HDR-Bildaufnahme, die aus 16 × 4 × (2...n) Teilbildaufnahmen zusammengesetzt ist (Ablaufschema von 1a in 1b und 1c fortgesetzt);
2: eine schematische Darstellung der 144 Teilbildauslesungen eines Matrixsensors, dargestellt für ein Farbpixel (GRBG-Bayermaske) bei einer 12-Positionen-Microscan-CCS-Abtastung mit integrierter dreifach HDR-Bildabtastung;
3: unterschiedliche Ausführungsbeispiele von Microscanmustern, dargestellt für die örtliche Verschiebung eines Sensorelements des Matrixsensors für eine 16 Positionen-Microscan-CCS-Abtastung (zuzüglich HDR-Abtastung);
4: eine schematische Darstellung einer erfindungsgemäßen Kamera mit Objektiv, Matrixsensor mit Bayerfarbmaske, Piezoscanner, Sensor- und Scanner-Steuerelektronik und Rechner zur Bildverschachtelung und -normierung.
Das Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich wird – ohne Beschränkung der Allgemeinheit – in einer Variante mit einem Microscanning 115 in einem 3 × 3-Microscanraster gemäß der schematischen Darstellung von 2 näher erläutert.
Dabei ist für eine Pixelgruppe 11 mit vier Sensorelementen, die gemäß dem Bayertyp einer direkt auf dem Chip eines monochromen CCD- oder CMOS-Matrixsensors angeordneten Farbmosaikfiltermaske als True-Color-Bildelement eines Farbsensors 1 ausgeführt ist, das erfindungsgemäße Bildaufnahmeverfahren für eine komplette (aus 27 Teilaufnahmen bestehende) verschachtelte Bildaufnahme schematisch dargestellt. Zur Kenntlichmachung der örtlich lückenlosen Bildabtastung in Bezug zu den benachbarten True-Color-Bildelementen sind Pixelgruppen 12 bis 14 mit gezeichnet, jedoch als leere Felder belassen, um die Darstellung nicht unübersichtlich werden zu lassen. Für die Pixelgruppen 12 bis 14 laufen die für die Pixelgruppe 11 dargestellten Scanoperationen in gleicher Weise simultan ab.
Die Sensormatrix weist bei einer On-Chip-Farbmaske des Bayertyps somit regelmäßig wiederkehrend die Pixelgruppe 11 mit vier Sensorelementen, nämlich zwei diagonal angeordneten grünempfindlichen Sensorelementen 111 und 114 sowie einem rotempfindlichen Sensorelement 112 und einem blauempfindlichen Sensorelement 113 auf.
Um die vollständige Farbinformation der Farben Rot, Grün und Blau für jede der vier Positionen der Sensorelemente 111 bis 114 zu erhalten, wird für die Pixelgruppe 11 gemäß dem herkömmlichen Color-Co-Site-Sampling-Verfahren (im Folgenden kurz: CCS-Sampling 118) um je einen Pixelmittenabstand in einem Karree verschoben, sodass das Sensorelement 111 nacheinander mit den Ausgangspositionen der Sensorelemente 112 bis 114 zur Überdeckung gebracht wird. Die Überdeckung für die Sensorelemente 112 bis 114 erfolgt mit den im gleichen Farbschema angeordneten Sensorelementen der benachbarten Pixelgruppen 12 bis 14, die nach analoger Systematik die Nummern 121, 124, 131, 142 und 141 tragen müssten (aus Übersichtlichkeitsgründen weggelassen). Alle angefahrenen CCS-Sampling-Positionen 119 sind in 2 mit gestrichelten Linien dargestellt. Das dabei abgefahrene Muster des CCS-Sampling 118 kann einem Rechteckumriss folgen (nicht gezeichnet) oder – wie in 2 für das Sensorelement 114 angezeigt – ein sich kreuzendes Zick-Zack-Muster sein. Die letztere Scanreihenfolge entspricht dem zeitlichen Ablauf, wenn zusätzlich ein mäanderförmiges Microscanning 115, wie nachfolgend beschrieben, erfolgt.
Zur Steigerung der Auflösung – z.B. wegen der lichtunempfindlichen Lücken zwischen den Sensorelementen 111 bis 114 und ebenso zu denen der benachbarten Pixelgruppen 12, 13, 14 usw., aber auch zur Vermeidung des Einsatzes von teuren höchstauflösenden Farbsensoren 1 mit vielfacher Anzahl oder Dichte der Sensorpixel – erfolgt entsprechend der Darstellung von 2 eine Zwischenabtastung 116, bei der in den lichtunempfindlichen Lücken des Sensors durch Microscanning 115 weitere Teilbildaufnahmen durchgeführt werden (in diesem Beispiel genau eine, d.h. ein Microscanning 115 mit einem halben Pixelabstand). Die zugehörigen Positionen der Sensorelemente 111 bis 114 sind mit feinen Punktlinien dargestellt. Die Schrittgröße ist im Fall von 2 auf eine Zwischenabtastung 116 (3 × 3-Microscan) festgelegt, wodurch sich bei Vorgabe von drei HDR-Abtastungen ein Gesamtbild aus 27 Teilbildern ergibt.
Die Schrittgröße des Microscanning 115 kann beliebig gewählt werden, wird jedoch zur Begrenzung des Verarbeitungsaufwandes, aber auch wegen des begrenzten Auflösungsvermögens der Kameraoptik 2 vorzugsweise auf zwei Zwischenabtastungen 116 (4 × 4-Microscan) begrenzt, wodurch sich bei Vorgabe von drei HDR-Abtastungen ein Gesamtbild aus 48 Teilbildern ergibt.
In der Ausführung gemäß 2 beschreibt das Microscanmuster 117 für ein 4 × 4-Microscanning 115 eine Mäanderform mit sechzehn Abtastpositionen bezogen auf ein ausgewähltes Sensorelement 111 einer Pixelgruppe 11, die für das oben beschriebene CCS-Sampling 118 ein sich kreuzendes Zick-Zack-Muster zwischen den CCS-Sampling-Positionen 119 „auf Umwegen“ (d.h. mit eingelagerten Zwischenabtastungen 116 des Mikrosannings 115) abtastet. Die im hier ausgewählten 4 × 4-Microscanning 115 möglichen vier CCS-Samplings 118 sind unten in 2 mit der realen Scanreihenfolge und den tatsächlichen Abtastpositionen in dem verwendeten mäanderförmigen Microscanmuster 117 dargestellt.
Im Ergebnis eines solchen 4 × 4-Microscannings 115 mit sechzehn örtlich versetzten Abtastpositionen des Sensorpixels 111 entsteht eine 64 Pixel-CCS-Aufnahme für die betrachtete Pixelgruppe 11, aus der vier vollständige CCS-Aufnahmen zusammengesetzt werden können. Aufgrund der noch zusätzlich pro örtlicher Abtastposition des Microscannings 115 durchgeführten (hier: zwei weiteren) HDR-Teilbildaufnahmen ergeben sich in diesem Beispiel 192 Teilbildauslesungen aus sechzehn örtlichen Positionsänderungen (4 × 4-Microscan), an denen je vier Sensorelemente 111 bis 114 vier Farbauszüge mit drei verschiedenen Empfindlichkeitseinstellungen aufnehmen, d.h. es werden an jeder der sechzehn Scanpositionen im Bild zwölf Teilbildauslesungen vorgenommen. Dabei können einige Farbauszüge der Sensorelemente 112, 113 und 114, die sich in der Ausgangsscanposition des Farbsensors 1 mit den Pixeln der Nachbarpixelgruppen 12, 13 und 14 überlappen, sofort verworfen werden, weil sie nicht zum CCS-Sampling 118 der Pixelgruppe 11 beitragen können.
Es sind unterschiedlichste Abläufe des Microscannings 115 möglich und sinnvoll. Für die Beschreibung der möglichen Microscanmuster 117 wird – zur Vereinfachung der Darstellung – jeweils nur das obere linke Pixel 111 der Pixelgruppe 11, die für ein vollständiges Farbpixel des Farbsensors 1 steht, betrachtet und gezeichnet.
Zur Ausführung eines Microscans 115 wird in der Regel der kürzeste Abtastweg gewählt. Es kann aber auch für spezielle Bildaufnahmen (z.B. solchen, die – bei den relativ langen Aufnahmezeiten für ein vollständiges Gesamtbild – statistischen Schwankungen, langsamen Veränderungen oder aber Vibrationen unterliegen) eine Art Chaos-Microscanmuster 117 gewählt werden, bei dem die Abtastreihenfolge so eingestellt wird, dass zwischen allen örtlich direkt benachbarten Microscanning-Positionen möglichst ähnlich große Zeitintervalle von Abtastschritten liegen (s. z.B. DE 102 61 665 C1 oder EP 1 432 231 A2 ) und/oder eine möglichst gleiche Anzahl von Zwischenabtastungen 116 (oder pixelüberdeckende Hauptabtastungen) zwischen den CCS-Sampling-Positionen 119 liegen sollen, wie sie in 3 schematisch angegeben sind.
3 zeigt in den Teilabbildungen a) bis c) jeweils ein 4 × 4-Microscanraster einer Sensorelementgruppe 11 (GRBG-Bayer-Farbpixel), von der nur das obere linke Sensorelement 111 betrachtet und in seiner Scanbewegung dargestellt ist. Bei den drei dargestellten Microscanmustern 117 findet das CCS-Sampling 118 jeweils an den bekannten Pixelpositionen statt, wenn – in diesem Beispiel: nach einer Zwischenabtastung 116 im quadratischen 4 × 4-Scanraster – die Position des nächsten Sensorpixels deckungsgleich eingestellt ist, wobei sich die gesamte Sensorelementgruppe 11 im gleichen Microscanmuster 117 mitbewegt.
Die Abtastungen gemäß 3a und 3b erfolgen jeweils in verkürzten Mäanderformen, bei denen die Scanwege pro Scanschritt jeweils genau einen halben Pixelabstand betragen. Dabei entstehen vier zeitlich unterschiedlich verschachtelte CCS-Samplings 118, bei denen die übliche Reihenfolge der CCS-Sampling-Positionen 119 entlang der Sensorelemente 111, 112, 113 und 114 bzw. 111, 112, 114 und 113 zwar eingehalten wird, aber für die Zwischenabtastungen 116 (in 1a–1c: Subpixel-Imaging mit SubN-CCS-Sampling 1–4) und zwischen den CCS-Sampling-Positionen 119 unterschiedlich viele Zwischenabtastungen 116 des Microscanmusters 117 liegen. Das kann bei nicht ruhenden Szenen (Objekten 3) zu Artefakten der Farbdarstellung führen. Deutlich wird dies auch bei vollständiger Mäanderabtastung gemäß 2 durch die (in 2 unten separat gezeichneten) CCS-Sampling-Positionen 119 mit den angegebenen Scanschritt-Nummern für die gezeigten vier CCS-Samplings 118.
Die Teilabbildung b) von 3 zeigt für dasselbe 4 × 4-Microscanraster einer Sensorelementgruppe 11 ein Microscanmuster 117, das bezüglich des CCS-Samlings 118 zeitoptimiert ist, indem die Positionen der Sensorelemente 111, 112, 114 und 113 in dieser Reihenfolge mit jeweils nur einer oder höchsten zwei Zwischenabtastungen 116 angefahren werden. Dasselbe trifft hier auch für alle SubN-CCS-Samplings (mit N = 1...3) zu.
Die Teilabbildung c) von 3 offenbart – im Gegensatz zu den geordneten Microscanmustern 117 – ein bereits oben erwähntes, scheinbar chaotisches Microscanmuster 117, bei dem auf ein „relativ ähnliches“ Zeitintervall zwischen benachbarten Positionen des Microscanrasters einer Sensorelementgruppe 11 geachtet wird, um Bildunschärfe aufgrund statistischer Schwankungen (Schwingungen) zwischen dem Objektabbild und dem Farbsensor 1 (bzw. der Sensorelementgruppe 11) zu unterdrücken. Zusätzlich wird eine möglichst geringe Anzahl der Abtastschritte (< 3) zwischen den CCS-Sampling-Positionen 119 angestrebt, wodurch – insbesondere bei zeitlicher Veränderung der Objektabbildung – die Farbauszüge in enger zeitlicher Reihenfolge erhalten werden. Das hat eine gesteigerte Bedeutung für die nachfolgend beschriebene erfindungsgemäße Integration von Teilbildaufnahmen des HDR-Imaging 120, bei dem die zeitlich nacheinander für jede Microscanposition mit unterschiedlichem Dynamikbereich aufgenommenen Farbauszüge dadurch zeitlich enger zusammenliegen und weniger Artefakte bei der Überlagerung (zeitlichen Verschachtelung) des Gesamtbildes aufweisen.
Zur Erhöhung des Dynamikbereichs der Bildaufnahme wird bei dem erfindungsgemäßen Verfahren des Weiteren in jeder angefahrenen Microscanning-Position eine Mehrzahl von Teilaufnahmen mit jeweils abgestuft unterschiedlichen Empfindlichkeitseinstellungen oder Belichtungszeiten vorgenommen. Diese mit HDR-Imaging (High Dynamic Range Imaging) bezeichneten Teilbildaufnahmen sind durch räumlich perspektivisch versetzte Pixelumrisse mit Strich-Punkt-Linien (für CCS-Sampling-Positionen 119) und Punktlinien (für Positionen von Zwischenabtastungen 116) in 2 dargestellt. Die zeitlich gestaffelten HDR-Teilbildaufnahmen 121 mit unterschiedlichen Empfindlichkeitseinstellungen erfolgen nacheinander für jede räumlich separierte Teilbildaufnahme-Position des gewählten Microscanmusters 117, jedoch für alle Sensorelementgruppen 11, 12, 13, 14 usw. gleichzeitig. Mit dieser Maßnahme entsteht ein hochaufgelöstes Farbbild mit zusätzlich erhöhtem Dynamikbereich, d.h. mit hoher Farbtiefe und hohem Kontrast.
Dadurch ist eine erhebliche Erhöhung des Dynamikbereichs eines hochauflösend abtastenden Farbsensors 1 für jede Gesamtbildaufnahme möglich, sodass keine echte HDR-Sensormatrix mit logarithmischem Empfindlichkeitsverhalten der Sensorelemente erforderlich ist (Kostenersparnis) oder nacheinander hochauflösende Gesamtbildaufnahmen mit unterschiedlichen Belichtungseinstellungen wiederholt werden müssen (Zeitersparnis).
Durch Beschränkung der Anzahl der empfindlichkeitsgesteuerten bzw. belichtungszeitgesteuerte Teilbildaufnahmen auf zwei oder drei ist ein guter Kompromiss gefunden, um die benötigte Zeit für die Gesamtbildaufnahme (die im gezeigten Beispiel von 2 aus 27 Teilbildaufnahmen besteht) in vertretbarem Rahmen zu halten.
Für ein 4 × 4-Microscanning mit zwei HDR-Aufnahmen je Scanposition ergeben sich 128 Teilbildaufnahmen bei lediglich 32 Sensorauslesungen, woraus mit beispielsweise T1 = 10 ms und T2 = 140 ms eine Gesamtszeit Tgesamt < 16s für eine komplette hochauflösende Bildaufnahme mit zweifach erhöhten Dynamikbereich ergibt.
Der Ablauf des erfindungsgemäßen Verfahrens zur hochauflösenden digitalen Bildaufnahme mit hohem Dynamikbereich ist in 1a und 1b als Ablaufschema der für die Gesamtbildaufnahme erforderlichen Teilbildabtastungen dargestellt. Dabei wird (wie in 2) von einem 3 × 3-Microscanning mit einem gleichzeitig ablaufenden CCS-Sampling und einem HDR-Imaging (Mehrfachabtastungen mit unterschiedlichen Empfindlichkeitseinstellungen bzw. Belichtungszeiteinstellungen pro Abtastposition) Gebrauch gemacht. Es werden mehrere Teilaufnahmen verschiedener Zweckbestimmung (in der angegebenen Reihenfolge) zeitlich versetzt mittels einer Kamera mit einem kommerziell verfügbaren Farbsensor 1 (z.B. SONY ICX 285AQ) von einem Objekt 3 aufgenommen.
Wie in 4 schematisch gezeigt, wird das Objekt 3 mittels eines Kameraoptik 2 auf den Farbsensor 1 abgebildet. Der Farbsensor 1 (mit Bayerfarbmaske) ist auf einem X-Y-Scanner 4 (vorzugsweise einem Piezoscanner) aufgebracht, der die erforderlichen Scanbewegungen des Farbsensors 1 für das Microscanning 115 und CCS-Sampling 118 entsprechend dem vorgewählten Microscanmuster 117 vornimmt. Es können aber auch Spiegelscanner (nicht gezeichnet) zum Einsatz kommen, um die relative Bewegung der Objektabbildung gegenüber dem Farbsensor zu realisieren. Die Ansteuerung des Scanners 4 erfolgt durch die Sensor- und Scannersteuerelektronik 5, die zugleich auch die notwendigen Sensorumschaltungen für das HDR-Imaging 120 vorgibt, die unterschiedlichen Auslesemodi des Farbsensors taktet und die geordnete Zwischenspeicherung der Teilbildaufnahmen im Rechner 6 organisiert. Vorteilhaft werden unterschiedliche Abtast- und Auslesemodi in der Steuerelektronik 5 auswählbar abgelegt.
Im nachgeordneten Rechner 6, der separat, aber auch Bestandteil der Kamera sein kann, werden die Teilbildaufnahmen anschließend zu einem zusammengesetzten Gesamtbild mit höherer räumlicher Auflösung, höherem Dynamikumfang und gemessen oder Farben vereinigt. Das geschieht durch zeitliche und räumliche Verkämmung der Teilaufnahmen entsprechend den Aufnahmemodi von Microscanning 115, CCS-Sampling 118 und HDR-Imaging 120.
Dadurch ergeben sich selbst bei Beschränkung auf nur zwei HDR-Abtastungen pro Microscanning-Position bereits brillante hochaufgelöste Farbbilder von hoher Farbtiefe, für deren Aufnahme als Gesamtbild nicht bei einem angenommen 4 × 4-Mikroscanning mit zwei HDR-Aufnahmen von nicht mehr als 16 s benötigt wird.
Insbesondere ergeben sich bei der Vereinigung von RGB-Farbbildern Gesamtbilder mit hohem Dynamikumfang von 14–16 Bit Farbtiefe und zusätzlich mindestens verdoppelter Auflösung bei einer Zwischenabtastung 116 (im Microscanning 115 mit CCS-Sampling 118).
Bei der Vereinigung von Schwarz-Weiß- oder Graustufenbildern ergibt sich bei gleichem Grundansatz die gleiche Tiefe des Dynamikumfangs.
Bezugszeichenliste

1: Farbsensor
11, ..., 14: Pixelgruppen
111...114: Sensorelemente
115: Microscanning
116: Zwischenabtastung
117: Microscanmuster
118: CCS-Sampling
119: CCS-Sampling-Position
120: HDR-Imaging
121: HDR-Teilbildaufnahme
2: Kameraoptik
3: Objekt
4: Scanner
5: Sensor- und Scanner-Steuerelektronik
6: Rechner

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 3837063 C1 [0003]
US 5682567 [0005]
EP 1235424 A2 [0006]
DE 10261665 C1 [0033]
EP 1432231 A2 [0033]

Claims

Verfahren zur hochauflösenden digitalen Farbbildaufnahme mit hohem Dynamikbereich, bei dem mittels Scanbewegung eines zweidimensionalen Farbsensors eine Auflösungserhöhung der Bildaufnahme durch sukzessive Überdeckung aller unterschiedlich farbempfindlichen Sensorelemente mittels Color-Co-site-Sampling vorgenommen wird, dadurch gekennzeichnet, dass – Zwischenabtastungen mit Abtastschritten von einem Bruchteil der Mittenabstände der Sensorelemente des Farbsensors als zusätzliche Abtastpositionen in die Scanbewegung des Color-CoSite-Sampling integriert werden, sodass mittels eines so definierten Microscannings zusätzliche Teilbildaufnahmen mindestens eine Verdoppelung der Abtastdichte in jeder Dimension des Farbsensors erzeugen, und – an jeder Abtastposition, sowohl der vom Color-CoSite-Sampling vorgesehenen Positionen der Sensorelemente als auch der durch Zwischenabtastung zusätzlich angefahrenen Abtastpositionen, zusätzliche Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen oder Belichtungszeiteinstellungen des Farbsensors zur Erzeugung eines High-Dynamic-Range-Imaging vorgenommen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei Verwendung eines Farbsensors mit Bayerfarbmaske ein Gesamtbild aus Teilbildern von vier Color-Co-site-Sampling-Positionen und von einem mindestens eine Zwischenabtastung je Pixelmittenabstand und Dimension des Farbsensors aufweisenden 4 × 4-Microscanning zusammengesetzt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Microscanning mit einem regelmäßigen zeilenförmigen oder spaltenförmigen Scanmuster durchgeführt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass das Microscanning mit einem regelmäßigen mäanderförmigen Scanmuster durchgeführt wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Microscanning mit einem regelmäßigen verkürztem maänderförmigen Scanmuster durchgeführt wird, bei dem die Color-Co-site-Sampling-Positionen mit angeglichenem zeitlichen Abstand angefahren werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Microscanning mit einem unregelmäßigen Scanmuster durchgeführt wird, bei dem die Color-Co-site-Sampling-Positionen und die Zwischenabtastpositonen für die einzelnen Teilbildaufnahmen mit einem möglichst ähnlichen zeitlichen Abstand angefahren werden, wobei benachbarte Abtastpositionen, die in einem regulären mäander-förmigen Scanraster direkt nacheinander abgetastet würden, mit einem zeitlichen Abstand von mindestens zwei Microscanschritten angefahren werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das HDR-Imaging zwei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass für das HDR-Imaging drei Teilbildaufnahmen mit unterschiedlichen Empfindlichkeitseinstellungen des Farbsensors je Microscanposition aufgenommen werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass in der Steuerelektronik zur Realisierung von verschiedenen Auflösungsstufen der Farbaufnahmen unterschiedliche Einstellungen von Microscanmodi des Scanners und Ansteuer- und Auslesemodi des Farbsensors gespeichert werden.