-
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrichtung, wobei ein Bildsensor belichtet und in Reaktion auf die Belichtung des Bildsensors dann ein Digitalbild ermittelt wird.
-
Die Digitalfotografie hat weitestgehend die analoge Fotografie abgelöst. Bei der Digitalfotografie wird ein Bildsensor, der aus einem oder mehreren Sensorpixeln besteht, belichtet, wobei basierend auf der Belichtung der einzelnen Sensorpixel als Reaktion auf das einfallende Licht eine elektrische Ladung akkumuliert wird, die proportional zu der Menge des einfallenden Lichtes und von dem Sensor aufgenommenen Lichtes ist. Die akkumulierte elektrische Ladung wird am Ende der Belichtungszeit ausgelesen, wobei die Menge der elektrischen Ladung einem quantifizierten Wert zugeordnet wird, der dann später den entsprechenden Pixelwert an der entsprechenden Bildposition repräsentiert. Der Wert, der der akkumulierten Ladung an der jeweiligen Bildposition entspricht, wird dabei meist digital angegeben und hat in der Regel einen vorgegebenen Wertbereich, der bei einer 8-Bit Tiefe Werte zwischen 0 und 255 annehmen kann. Dabei sind auch Sensoren mit 12 bis 14-Bit Tiefe und selten sogar bei Spezialkameras bis zu 16-Bit Tiefe bekannt.
-
Ein Problem hierbei besteht bei zu fotografierenden Szenen, die eine sehr starke unterschiedliche Ausleuchtung haben und somit einen hohen Dynamikumfang (englisch: high dynamic range) besitzen. Der Dynamikumfang wird dabei definiert als Quotient zwischen dem Wert des hellsten Bereiches der Szene und dem dunkelsten Bereich der Szene. Je größer der Dynamikumfang dabei ist, desto schwieriger wird eine vernünftige Belichtung des Bildes, wenn es weder überbelichtet noch unterbelichtet sein soll.
-
Weist eine Szene einen hohen Dynamikumfang auf, so werden durch eine kurze Belichtungszeit die hellen Bereiche der zu fotografierenden Szene gut abgebildet, während jedoch die dunklen Bereiche je nach Dynamikumfang unterbelichtet verbleiben. Andersherum verhält es sich, wenn die Belichtungszeit sehr lang gewählt wird, wodurch die dunklen Bereiche der Szene ausreichend aufgenommen werden, während jedoch die hellen Bereiche überbelichtet werden. Der Grund hierfür liegt darin, dass bei einer zu langen Belichtungszeit die die hellen Bereiche repräsentierenden Sensorpixel sehr stark belichtet werden, wodurch die durch die Sensorpixel akkumulierte Ladung vor Ende der Belichtungszeit ihre Ladungssättigung (Ladungsmaximum) erreichen, während die dunklen Bereiche noch nicht ausreichend für eine vernünftige Fotografie belichtet wurden.
-
Um Digitalbilder mit einem hohen Dynamikumfang (HDR: High Dynamic Range) zu erzeugen, ist es aus der Praxis beispielsweise bekannt, in einer kurzen Abfolge mehrere Bilder derselben Szene aufzunehmen, wobei jeweils die Belichtungszeit variiert. Anschließend werden über- und unterbelichtete Bereiche durch die entsprechenden Bereiche aus den anderen Bildern ersetzt, wodurch eine optimale Aufnahme in Bezug auf die Belichtung des Bildes erzielt werden kann.
-
Allerdings hat dies in der Praxis einige Nachteile. So muss für die Aufnahme sichergestellt sein, dass sich während der Aufnahme die Szene an sich nicht verändert, da ansonsten einzelne Bilder entstehen, die sich in ihrem Inhalt unterscheiden. Dies kann beim Zusammensetzen der Bilder zu einem HDR-Digitalbild zu Artefakten und Ghosting-Effekten führen. Sich sehr schnell verändernde Szenen, wie beispielsweise Aufnahmen von Sportveranstaltungen, können so ggf. unmöglich werden. Außerdem bedarf es bei dieser Art der Erzeugung eines HDR-Digitalbildes einer nicht unerheblichen Rechenleistung, um die einzelnen Bilder zu analysieren und zu einem Bild zusammenzusetzen und dabei ggf. auch Veränderungen herauszurechnen.
-
Ein weiteres Problem besteht darin, dass nicht beliebig viele Bilder mithilfe herkömmlicher Aufnahmevorrichtungen hintereinander aufgenommen werden können, was grundsätzlich die Qualität und den Dynamikumfang verbessern würden. Herkömmliche Aufnahmevorrichtungen, wie beispielsweise Digitalkameras, limitieren bei der Übertragungsrate des erstellten Digitalbildes von dem internen Chip auf den digitalen Datenspeicher. Daher ist dieses Verfahren für bekannte Digitalkameras nicht ohne weiteres skalierbar.
-
Aus der
DE 10 2016 218 843 A1 ist ein Bilderzeugungssystem bekannt, das einen Bildsensor beinhaltet, der eine Anordnung von Dual-Gain-Pixeln aufweist. Jedes Pixel kann anhand eines verbesserten Dreifach-Leseverfahrens und eines verbesserten Vierfach-Leseverfahrens angesteuert werden, so dass alle Signale in einer High-Gain-Konfiguration gelesen werden können, um einen elektrischen Versatz in den Signalstärken zu verhindern. Allerdings stellen Dual-Gain-Pixel mit zwei Auslesepfaden eine Modifikation der Hardware dar, so dass bereits bestehende Aufnahmevorrichtungen nicht entsprechend ohne weiteres nachgerüstet werden können.
-
Aus der
EP 2 453 646 A2 ist eine Bildaufnahmevorrichtung bekannt, bei der ein elektronischer Shutter gesteuert wird, um die Belichtungszeit und die Belichtung an sich zu steuern.
-
Mit der weiten Verbreitung von Digitalkameras auch im Endkundenbereich besteht ein Bedürfnis auch im privaten Bereich Digitalbilder mit einer immer besseren Qualität zu erzeugen. Dabei besteht das Bedürfnis, auch qualitative HDR-Digitalbilder zu erzeugen, was nach derzeitigem Stand der Technik nur durch eine komplizierte Hardwaremodifikation der digitalen Bildsensoren möglich ist. Somit bleibt bereits bestehenden Kameras eine derartige Verbesserung in der Regel verwehrt.
-
Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Aufnehmen eines Digitalbildes mit einem insbesondere hohen Dynamikumfang anzugeben, mit dem sich auch dann HDR-Digitalbilder erzeugen lassen, wenn weder der bildgebende Sensor dafür geeignet ist noch die Aufnahmevorrichtung selber zur entsprechenden Fusion mehrerer aufgenommener Digitalbilder ausgebildet ist.
-
Die Aufgabe wird mit dem Verfahren gemäß Anspruch 1 sowie der Aufnahmevorrichtung gemäß Anspruch 12 erfindungsgemäß gelöst.
-
Gemäß Anspruch 1 wird ein Verfahren zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrichtung vorgeschlagen, wobei gattungsgemäß ein digitaler Bildsensor der Aufnahmevorrichtung über einen vorgegebenen Belichtungszeitraum hinweg belichtet wird. Durch das Belichten des digitalen Bildsensors werden die in dem digitalen Bildsensor enthaltenen Bildsensorpixel ebenfalls belichtet, wobei jedes dieser Bildsensorpixel einen Bildpunkt oder eine Gruppe von Bildpunkten repräsentiert. Am Ende des Belichtungszeitraumes werden nun von den einzelnen Bildsensorpixeln elektrische Signale mittels einer elektronischen Ausleseschaltung ausgelesen, wobei die elektrischen Signale jedes einzelnen Bildsensorpixels jeweils eine akkumulierte Ladung als Reaktion auf das einfallende Licht des jeweiligen Bildsensorpixels repräsentieren. Basierend auf diesen elektrischen Signalen wird nun für jeden Bildsensorpixel ein digitaler Pixelwert mittels einer elektronischen Recheneinheit ermittelt, wobei der jeweilige Pixelwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels repräsentierten akkumulierten Ladung entspricht. Anschließend wird ein Digitalbild basierend auf den ermittelten digitalen Pixelwerten mittels der elektronischen Recheneinheit generiert und ggf. in einen digitalen Datenspeicher hinterlegt. Die Pixelwerte können eine Repräsentation von Helligkeits- und/oder Farbwerten sein.
-
Erfindungsgemäß wird dieses gattungsgemäße Verfahren zum Aufnehmen eines Digitalbildes dahingehend verändert und ergänzt, dass mithilfe der elektronischen Ausleseschaltung die elektrischen Signale von zumindest einem Teil der Bildsensorpixel mehrfach während des Belichtungszeitraumes an diskreten Auslesezeitpunkten innerhalb des Belichtungszeitraumes ausgelesen werden, wobei hierfür die Belichtung des Bildsensorpixels gerade nicht unterbrochen werden soll. Vielmehr wird innerhalb des Belichtungszeitraumes ein Bildsensorpixel mehrfach ausgelesen, wobei das Auslesen an jeweils diskreten Auslesezeitpunkten innerhalb des Belichtungszeitraumes erfolgt. An dem jeweiligen diskreten Auslesezeitpunkt innerhalb des Belichtungszeitraumes wird dabei das jeweilige Bildsensorpixel mithilfe der Ausleseschaltung allerdings nur einmal ausgelesen, so wie dies herkömmlicherweise am Ende des Belichtungszeitraumes gemäß dem Stand der Technik standardmäßig erfolgt.
-
Für jeden der mehrfach ausgelesenen Bildsensorpixel an den jeweils diskreten Auslesezeitpunkten wird nun ein digitaler Pixelzwischenwert basierend auf dem ausgelesenen Signal des jeweiligen Bildsensorpixels ermittelt, wobei dieser Pixelzwischenwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels repräsentierten akkumulierten Ladung dem jeweiligen diskreten Auslesezeitpunkt entspricht. Die bis zum Auslesezeitpunkt akkumulierte Ladung des jeweiligen Bildsensorpixels wird dabei nach dem Auslesen mittels der elektronischen Ausleseschaltung nicht zurückgesetzt bzw. resetted, so dass am Ende des Belichtungszeitraumes die gesamte akkumulierte Ladung in den jeweiligen Bildsensorpixeln enthalten ist. Werden beispielsweise an jedem Auslesezeitpunkt innerhalb des Belichtungszeitraumes alle Bildsensorpixel des digitalen Bildsensors mithilfe der elektronischen Ausleseschaltung ausgelesen und entsprechend die Pixelzwischenwerte ermittelt, so liegt zu jedem diskreten Auslesezeitpunkt innerhalb des Belichtungszeitraumes ein Zwischenbild der aufgenommenen Szene vor, das an dem jeweiligen diskreten Auslesezeitpunkt durch die Pixelzwischenwerte definiert wird.
-
Dabei muss nicht zwingend zu jedem diskreten Auslesezeitpunkt auch jeder Bildsensorpixel ausgelesen werden. Es ist denkbar und auch vorteilhaft, wenn jeder Bildsensorpixel seine eigenen diskreten Auslesezeitpunkte hat, die zumindest teilweise voneinander verschieden sein können. So kann es sein, dass eine erste Gruppe von Bildsensorpixeln einen ersten diskreten Auslesezeitpunkt hat, der sich von dem ersten diskreten Auslesezeitpunkt einer zweiten Gruppe von Bildsensorpixeln unterscheidet. Mit anderen Worten, jeder Bildsensorpixel oder Gruppen von Bildsensorpixeln können eigene, individuelle diskrete Auslesezeitpunkte aufweisen.
-
Jeder betreffende Bildsensorpixel wird somit innerhalb des Belichtungszeitraumes mehrfach ausgelesen, und zwar einmal an jedem, den jeweiligen Bildsensorpixel betreffendendiskreten Auslesezeitpunkt, so dass an jedem diskreten Auslesezeitpunkt ein jeweiliger Pixelzwischenwert ermittelbar ist, so dass sich über den gesamten Belichtungszeitraum hinweg für den betreffenden Bildsensorpixel mehrere Pixelzwischenwerte ergeben.
-
Für jeden mehrfach ausgelesenen Bildsensorpixel wird nun ein digitaler Pixelwert in Bezug auf das Ende des Belichtungszeitraumes in Abhängigkeit von den ermittelten digitalen Pixelzwischenwerten an den jeweiligen Auslesezeitpunkten geschätzt, wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Sensorpixels am Ende des Belichtungszeitraumes eine Ladungssättigung erreicht hat. Hat die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels über den Belichtungszeitraum hinweg seine Ladungssättigung erreicht, so würde ein hierauf basierender digitaler Pixelwert ein vorgegebenes Wertemaximum erreicht haben. Sind großflächig mehrere Bereiche der aufgenommenen Szene hiervon betroffen, würde das spätere Digitalbild in diesen Bereichen überbelichtet sein. Durch das Schätzen wird jedoch das Wertemaximum der zu akkumulierenden Ladung des jeweiligen Bildsensorpixels vergrößert, und zwar über die physikalische Ladungssättigung hinaus, wodurch auch ein mögliches Wertemaximum bezüglich der zu ermittelnden Pixelwerte vergrößert wird. Es kann demzufolge ein Pixelwert ermittelt werden, der auf der akkumulierten Ladung eines Bildsensorpixels basiert, so als hätte der Bildsensorpixel physikalisch keine Ladungssättigung bezüglich der akkumulierbaren Ladung während der Belichtungszeit.
-
Basierend auf den geschätzten digitalen Pixelwerten oder den normal ermittelten Pixelwerten, wenn der jeweilige Bildsensorpixel nicht mehrfach ausgelesen wurde oder seine Ladungssättigung nicht erreicht hat, wird dann das Digitalbild generiert, wobei durch das Schätzen einzelner oder ggf. sogar aller digitalen Pixelwerte der Quotient zwischen dem hellsten Pixelwert und dem dunkelsten Pixelwert gegenüber herkömmlichen Digitalbildern vergrößert wird und somit insgesamt der Dynamikumfang erhöht ist.
-
Dabei ist es für Spezialanwendungen denkbar, dass der Bildsensor lediglich nur ein einziges Bildsensorpixel enthält, was bspw. bei der Rastertunnelmikroskopie der Fall sein kann. Daher sind sämtliche Ausführungen auch dahingehend zu verstehen, dass nur ein einziger Bildsensorpixel vorhanden ist, dessen natürliche Ladungssättigung rechnerisch vergrößert wurde.
-
Mit der vorliegenden Erfindung gelingt es, auch bei herkömmlichen Bildsensorpixeln, die beispielsweise nur über einen einzigen Ladungsspeicher sowie über eine einzige Ausleseschaltung pro Sensorpixel verfügen, dennoch ein HDR-Digitalbild aufzunehmen, ohne dass der digitale Bildsensor hierfür verändert werden muss, vielmehr kann auf bestehende und zum Zeitpunkt der Anmeldung erhältliche digitale Bildsensoren zurückgegriffen werden, um ein entsprechendes HDR-Digitalbild nach der Lehre der vorliegenden Erfindung aufnehmen zu können.
-
Unter Schätzen eines digitalen Pixelwertes im Sinne der vorliegenden Erfindung wird insbesondere eine Extrapolation in Bezug auf das Ende des Belichtungszeitraumes basierend auf den ermittelten digitalen Pixelzwischenwerten verstanden, wobei auch weitere Verfahren einschließlich Rauschunterdrückungsverfahren Anwendung finden können. Im einfachsten Fall wird beim Extrapolieren eines Pixelwertes für einen Bildsensorpixel derjenige Pixelwert ermittelt, der sich am Ende der Belichtungszeit ergeben würde, wenn der jeweilige Bildsensorpixel keine physikalische Ladungssättigung hätte. Hierfür werden die einzelnen Pixelzwischenwerte, die an den jeweils diskreten Auslesezeitpunkten basierend auf der zu dem jeweiligen Auslesezeitpunkt akkumulierten Ladung ermittelt wurden, herangezogen, um einen entsprechenden extrapolierten digitalen Pixelwert außerhalb des eigentlichen Wertebereiches ermitteln zu können.
-
Dabei ist es denkbar, dass die Pixel einzeln bzw. gleichzeitig ausgelesen werden oder dass die Pixel zeilenweise ausgelesen werden, um die einzelnen Werte zu ermitteln.
-
Es ist hierbei vorteilhaft, wenn ein möglichst langer Belichtungszeitraum gewählt wird, wodurch zwar viele der Bildsensorpixel im herkömmlichen Sinne überbelichtet werden und ihre Ladungssättigung erreichen, wobei aufgrund der vorliegenden Erfindung jedoch genau diese Bildsensorpixel mit entsprechend extrapolierten Pixelwerten korrigiert werden. Es ist daher besonders vorteilhaft, wenn die Bildsensorpixel ohne Unterbrechung über den gesamten Belichtungszeitraum hinweg belichtet werden um so die notwendigen Zwischensamples für das Extrapolieren der Pixelwerte zu erreichen.
-
Es ist darüber hinaus ebenfalls vorteilhaft, wenn der Belichtungszeitraum so gewählt wird, dass mehr als 25 %, vorzugsweise bei mehr als 50 %, der belichteten Bildsensorpixel einen vorgegebenen Ladungsschwellenwert erreicht haben. Dieser vorgegebene Ladungsschwellenwert kann bspw. die Ladungssättigung sein, d.h. der Belichtungszeitraum wird so gewählt, dass bei 25% bzw. 50% der Bildsensorpixel die akkumulierte Ladung das Maximum bzw. die Ladungssättigung erreicht und somit ein am Ende des Belichtungszeitraumes ermittelter Pixelwert sein vorgegebenes Wertemaximum erreicht hat. Dies könnte beispielsweise mithilfe einer elektronischen Recheneinheit vor Aufnahme der zu fotografierenden Szene ermittelt werden, indem beispielsweise ein Testfoto geschossen und die entsprechenden Lichtverhältnisse anhand der Belichtungscharakteristik des aufgenommenen Bildes ermittelt werden. Somit kann sichergestellt werden, dass der Belichtungszeitraum hinreichend lange gewählt wird, um so auch sicherzustellen, dass ein entsprechend großer Dynamikumfang entsteht. Es ist dabei allerdings nicht unbedingt vorteilhaft, eine Belichtungszeit zu wählen, die dazu führt, dass nahezu alle Bildsensorpixel überbelichtet werden, d.h. ihr Ladungsmaximum erreichen, da durch das Extrapolieren auch ein Fehler entsteht, der sich eben in einer Abweichung zum Original niederschlägt und der umso größer ist, je weiter der extrapolierte Pixelwert von seinem eigentlichen vorgegebenen Wertemaximum, der dem Ladungsmaximum entspricht, entfernt liegt. Denkbar ist aber auch, dass mit Hilfe von Sensoren, bspw. Helligkeitsmessern, eine Messung bzw. Analyse der Lichtverhältnisse durchgeführt wird, so dass auch auf ein Testfoto verzichtet werden kann.
-
Wie bereits erwähnt, wird das Digitalbild dann basierend auf den extrapolierten Pixelwerten sowie den am Ende des Belichtungszeitraumes ermittelten Pixelwerten, wenn der betreffende Bildsensorpixel das Ladungsmaximum nicht erreicht hat, generiert, so dass das Digitalbild sowohl aus extrapolierten Pixelwerten als auch am Ende des Belichtungszeitraumes ermittelten Pixelwerten bestehen kann.
-
Demzufolge entspricht das Ladungsmaximum einem ursprünglichen Wertemaximum der Pixelwerte, wobei ein extrapolierter digitaler Pixelwert größer oder gleich dem ursprünglichen Wertemaximum ist und somit das ursprüngliche Wertemaximum, theoretisch beliebig, vergrößert.
-
In einer weiteren vorteilhaften Ausführungsform wird eine Pixel-Rauschreduzierung durchgeführt, wobei für die Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes an einem Auslesezeitpunkt andere Pixelzwischenwerte desselben Auslesezeitpunktes herangezogen werden. Demzufolge wird eine Pixel-Rauschreduzierung vorteilhafterweise an jedem der Auslesezeitpunkte für jeden an diesem Auslesezeitpunkt ermittelten Pixelzwischenwert durchgeführt, um so Fehler bei der Ermittlung der Pixel-Zwischenwerte zu reduzieren.
-
Dabei wird die Pixel-Rauschreduzierung vorteilhafterweise für alle Pixelzwischenwerte mindestens eines Auslesezeitpunktes durchgeführt, um so ein rauschreduziertes Zwischenbild zu generieren.
-
In einer weiteren vorteilhaften Ausführungsform hierzu werden für die Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes an einem Auslesezeitpunkt andere Pixelzwischenwerte herangezogen, deren Bildsensorpixel von dem Bildsensorpixel des Zwischenwertes verschieden sind und bspw. in einem vorgegebenen Bereich um den Bildsensorpixel des Zwischenwertes liegen, für den die Pixel-rauschreduzierung durchgeführt wird. Denkbar ist aber auch, dass zur Rauschreduzierung eines Pixelzwischenwertes alle anderen Pixelzwischenwerte herangezogen werden.
-
Die anderen Pixelzwischenwerte können zu demselben Auslesezeitpunkt gehören oder interpolierte Werte aus zeitlich benachbarten Auslesezeitpunkten sein.
-
In einer weiteren vorteilhaften Ausführungsform wird für mindestens einen Bildsensorpixel eine zeitbezogene Pixel-Rauschreduzierung durchgeführt, wobei für die zeitbezogene Pixel-Rauschreduzierung eines Pixelzwischenwertes des mindestens einen Bildsensorpixel oder des geschätzten digitalen Pixelwertes die ermittelten Pixelzwischenwerte des mindestens einen Bildsensorpixel herangezogen werden.
-
Erfindungsgemäß wird im Übrigen auch eine Aufnahmevorrichtung zum Aufnehmen eines Digitalbildes vorgeschlagen, wobei die Aufnahmevorrichtung einen digitalen Bildsensor hat, der mindestens einen Bildsensorpixel aufweist. Die Aufnahmevorrichtung weist des Weiteren eine Ausleseschaltung zum Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels auf, wobei das elektrische Signal jeweils eine akkumulierte Ladung als Reaktion auf einfallendes Licht des jeweiligen Bildsensorpixels repräsentiert. Die Aufnahmevorrichtung weist des Weiteren eine Recheneinheit zum Ermitteln mindestens eines digitalen Pixelwertes basierend auf dem mindestens einen ausgelesenen elektrischen Signal und zum Generieren eines Digitalbildes basierend auf dem mindestens einen ermittelten digitalen Pixelwert auf. Erfindungsgemäß ist die Aufnahmevorrichtung, insbesondere die elektronische Recheneinheit, zur Durchführung des vorstehend genannten Verfahrens ausgebildet.
-
Vorteilhafterweise weist die Aufnahmevorrichtung einen Bildsensor auf, der eine Mehrzahl von Bildsensorpixel hat, wobei für jeden Bildsensorpixel ein oder mehrere elektrische Signale ausgelesen werden können. Für jeden Bildsensorpixel kann nun ein digitaler Pixelwert basierend auf den elektrischen Signalen ermittelt werden.
-
So ist es denkbar, dass eine herkömmliche Digitalkamera durch ein Firmwareupdate ohne Änderung an dem digitalen Bildsensor zur Durchführung des vorstehend genannten Verfahrens zur Aufnahme eines HDR-Digitalbildes eingerichtet wird, so dass auch bestehende Digitalkameras bzw. Aufnahmevorrichtungen entsprechend ausgerüstet werden können.
-
Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:
- 1 - Schematische Darstellung einer Aufnahmevorrichtung zum Aufnehmen von Digitalbildern;
- 2 - Darstellung eines Sensorsignalverlaufes mit und ohne Extrapolation.
-
1 zeigt eine Aufnahmevorrichtung 10, mit der eine aufzunehmende Szene 11 digital erfasst und ein entsprechendes Digitalbild generiert werden kann. Hierfür weist die Aufnahmevorrichtung 10 in der Regel ein Gehäuse 12, das an einer der Seiten des Gehäuses 12 eine Belichtungsoptik 13 oder eine anderweitige Vorrichtung hat, mit der ein digitaler Bildsensor 14 belichtet werden kann. Hierfür ist die Belichtungsoptik 13 so ausgebildet, dass sie bedarfsweise öffnet und nach Ablauf einer vorgegebenen Belichtungszeit bzw. eines Belichtungszeitraumes tE wieder schließt, wobei während der Öffnung der Belichtungsoptik 13 Licht der Szene 11 auf den digitalen Bildsensor 14 fällt. Nach dem Schließen der Belichtungsoptik 13 ist das Innere der Aufnahmevorrichtung 10 wieder vollständig abgedunkelt, so dass der digitale Bildsensor nicht versehentlich belichtet wird.
-
Der digitale Bildsensor 14 weist eine Mehrzahl von Bildsensorpixeln 15 auf, die beispielsweise nach Art einer Fotodiode als Reaktion auf das einfallende Licht während der Belichtungszeit tE eine elektrische Ladung in einem Ladungsspeicher akkumulieren. Jedes dieser Bildsensorpixel 15 weist dabei einen solchen Ladungsspeicher auf, wobei am Ende der Belichtungszeit anhand der akkumulierten Ladung ein Pixelwert ermittelt wird, der später dem entsprechenden Pixel in dem generierten Digitalbild entspricht und somit mit der akkumulierten Ladung in dem jeweiligen Bildsensorpixel 15 korreliert.
-
Mithilfe einer elektronischen Ausleseschaltung 16 können dabei die akkumulierten Ladungen der einzelnen Bildsensorpixel 15 ausgelesen und entsprechend quantifiziert werden, so dass basierend hierauf dann eine elektronische Recheneinheit 17 für jedes der ausgelesenen Bildsensorpixel 15 einen entsprechenden Pixelwert ermitteln kann. Im einfachsten Fall entspricht ein solcher Pixelwert der quantifizierten akkumulierten Ladung des ausgelesenen Bildsensorpixels.
-
Nachdem die Recheneinheit nun sämtliche Pixelwerte der belichteten Bildsensorpixel 15 des digitalen Bildsensors 14 ermittelt hat, kann es basierend hierauf ein entsprechendes Digitalbild generieren und dieses in einem digitalen Speicher 18 hinterlegen.
-
Dabei werden die Bildsensorpixel 15 nicht, wie aus dem Stand der Technik bekannt, nur einmal am Ende der Belichtungszeit tE durch die elektronische Ausleseschaltung 16 ausgelesen, sondern jedes der betreffenden Bildsensorpixel 15 wird über den Belichtungszeitraum tE hinweg mehrfach ausgelesen, so dass sich für jeden dieser Bildsensorpixel 15 innerhalb des Belichtungszeitraumes tE mehrere Pixelwerte des jeweiligen Bildsensorpixels ermitteln lassen, die mit der zum Auslesezeitpunkt akkumulierten Ladung des jeweiligen Bildsensorpixels 15 korrelieren. Diese Pixelwerte werden Pixelzwischenwerte genannt, da sie einen Pixelwert innerhalb des Belichtungszeitraumes darstellen.
-
Für jedes dieser mehrfach ausgelesenen Bildsensorpixel wird sodann basierend auf den jeweiligen Pixelzwischenwerten ein Pixelwert für das Ende des Belichtungszeitraumes extrapoliert, wenn der jeweilige Bildsensorpixel 15 vor dem Erreichen des Endes des Belichtungszeitraumes sein Ladungsmaximum bzw. seine Ladungssättigung erreicht hat.
-
Basierend auf diesen extrapolierten Pixelwerten und den jeweils übrigen Pixelwerten zum Ende des Belichtungszeitraumes wird dann das Digitalbild generiert und in dem digitalen Speicher 18 hinterlegt.
-
Der Vorteil hierbei besteht darin, dass ein hoher Dynamikumfang erreicht werden kann, da nunmehr auch Pixelwerte berechnet werden können, wenn diese aufgrund des Erreichens einer Ladungssättigung herkömmlicherweise gar nicht mehr ermittelbar wären.
-
Dies wird in 2 noch einmal veranschaulicht. Auf der X-Achse ist dabei die Belichtungszeit t gezeigt, während auf der Y-Achse ein aus der akkumulierten Ladung abgeleiteter Wert, beispielsweise ein Pixelwert, abgetragen ist. Bei einem Wert vmax würde dabei der jeweilige Bildsensorpixel sein Ladungsmaximum erreichen, so dass auch bei einer weiteren Belichtung dieses Bildsensorpixels keine weitere Ladung akkumuliert werden würde und somit Informationen oberhalb von vmax nicht mehr ermittelbar sind.
-
Genau ein solcher Fall ist im oberen Diagramm gezeigt. Während der Belichtung von t = 0 bis zum Ende des Belichtungszeitraumes tE steigt die in dem Bildsensorpixel akkumulierte Ladung kontinuierlich an, wobei sie vor Ende des Belichtungszeitraumes tE ihr Ladungsmaximum vmax erreicht. Demzufolge kann dieser Bildsensorpixel keine weiteren Informationen bezüglich der Belichtung aufnehmen. Dies geschieht in herkömmlichen Bildsensoren.
-
Das untere Diagramm zeigt das Wirkprinzip der vorliegenden Erfindung. Der Belichtungszeitraum von 0-tE wird in n, nicht notwendigerweise gleichlange Zeiträume aufgeteilt. Im vorliegenden Ausführungsbeispiel wird der Belichtungszeitraum in jeweils fünf Zeiträume unterteilt, wobei an den diskreten Zeitpunkten t1-t4 sowie tE das jeweilige Bildsensorpixel mithilfe der elektronischen Ausleseschaltung ausgelesen und ein entsprechender Wert bezüglich der jeweiligen akkumulierten Ladung an dem jeweiligen Auslesezeitpunkt t1-t4 , tE ermittelt wird. Wie zu erkennen ist, wird an den diskreten Zeitpunkten t1 , 12 , t3 und t4 jeweils noch ein gültiger Wert bezüglich der akkumulierten Ladung der einzelnen Auslesezeitpunkte ermittelt, wobei zwischen t4 und dem Ende des Belichtungszeitraumes tE das Sensorpixel in seine Ladungssättigung vmax laufen würde. Der Wert zum Zeitpunkt tE ist somit nicht mehr messbar.
-
Für ein solches Bildsensorpixel liegen somit an den diskreten Auslesezeitpunkten t1 -t4 jeweils ausgelesene Pixelwerte v1-v4 vor, welche die Werteentwicklung während der Belichtung des jeweiligen Sensorpixels zeigen. Durch eine Schätzung bzw. Extrapolation dieser auf der akkumulierten Ladung zu den jeweiligen Auslesezeitpunkten basierenden Werten v1-v4 kann nun der Wert vE zum Zeitpunkt des Endes des Belichtungszeitraumes tE extrapoliert werden, wobei dieser Wert vE oberhalb des möglichen Ladungsmaximums vmax liegt und somit physikalisch nicht messbar wäre. Durch die Extrapolation der zuvor in den jeweiligen Zwischenschritten ermittelten Zwischenwerte v1-v4 lässt sich jedoch dennoch ein solcher Wert vE zum Ende des Belichtungszeitraumes tE extrapolieren.
-
Sei I ein Digitalbild und I(x,y,t) der Wert eines Pixels an der Position (x,y) zum Zeitpunkt t. Es sei weiter angenommen, dass der Wert eines Pixels (x',y') gemessen am Ende der Belichtungszeit tE sein maximales Sensorlimit bzw. Ladungslimit vmax erreicht hat. Gemäß der vorliegenden Erfindung wird anstelle eines tatsächlichen gemessenen Wertes ṽ (x',y',tE) ein Wert ν̂(x',y',tE) => vmax berechnet. Alle mit einem „^“ (Dach) gekennzeichneten Werte stellen einen Schätzwert dar, während alle mit einer Tilde gekennzeichneten Werte einen pertubierten Messwert (also einen verrauschten oder abgeschnittenen Messwert) darstellen.
-
Des Weiteren sei tS = tE/s eine kürzere Zeitspanne innerhalb des Belichtungszeitraumes tE wenn s > 1 ist. Unter der Annahme, dass die Lichtquelle nicht zu hell ist, kann erwartet werden, dass die Berechnung ν̂(x',y',tS) < vmax ist, wenn s groß genug ist.
-
Es wird nun der Wert für jedes Bildsensorpixel bei (x',y',ts) für jedes s bis zum Erreichen von tE ermittelt, wodurch der Wert ν̂(x',y',tE) aus den zuvor ermittelten Werten extrapoliert werden kann. Demzufolge kann der nicht messbare Wert ν̂(x',y',tE) > vmax eines Bildsensorpixels (x',y') zum Zeitpunkt tE rekonstruiert werden, wenn die zuvor an den einzelnen Zeitpunkten tS ermittelten Werte bekannt sind.
-
Ohne Berücksichtigung von Rauschen und unter Annahme einer konstanten Illumination während der Belichtungszeit
tE kann der Wert ν̂(x',y',t
E) durch
approximiert werden.
-
Wird ein zeitliches Rauschen angenommen, so ist der gemessene Wert ν̂(x',y',ts) des Pixels (x', y') zum Zeitpunkt
tS nicht exakt, so dass die Extrapolation
durch ein entsprechendes Rauschen verfälscht ist. Je größer der Wert von s (kürzere Zeiten ts) ist, desto größer wird der Extrapolationsfehler.
-
Sei k die Anzahl kürzester Belichtungszeiten mit t
E/s, mit k = 1, ..., s ist und k
max der letzte Ausleseschritt, für den ν̂(x',y',t
k) ≤ v
max gilt, dann kann unter der oben genannten Gleichung (1) definiert werden:
wobei E{ν̂(x',y')} den Erwartungswert des extrapolierten Pixelwertes ν̂(x',y') zum Zeitpunkt
tE kennzeichnet.
-
Bezugszeichenliste
-
- 10 -
- Aufnahmevorrichtung
- 11 -
- Szene
- 12 -
- Gehäuse
- 13 -
- Belichtungsoptik
- 14 -
- digitaler Bildsensor
- 15 -
- Bildsensorpixel
- 16 -
- elektronische Ausleseschaltung
- 17 -
- Recheneinheit
- 18 -
- Datenspeicher
- tE -
- maximale Belichtungszeit
- t1-t4 -
- diskrete Auslesezeitpunkte
- v1-v4 -
- Werte an den diskreten Auslesezeitpunkten
- vmax -
- Ladungsmaximum
- vE -
- extrapolierter Pixelwert zum Ende des Belichtungszeitraumes
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102016218843 A1 [0008]
- EP 2453646 A2 [0009]