DE102017129770B4 - Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes - Google Patents

Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes Download PDF

Info

Publication number
DE102017129770B4
DE102017129770B4 DE102017129770.7A DE102017129770A DE102017129770B4 DE 102017129770 B4 DE102017129770 B4 DE 102017129770B4 DE 102017129770 A DE102017129770 A DE 102017129770A DE 102017129770 B4 DE102017129770 B4 DE 102017129770B4
Authority
DE
Germany
Prior art keywords
image sensor
pixel
read
digital
sensor pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE102017129770.7A
Other languages
English (en)
Other versions
DE102017129770A1 (de
Inventor
Hanno Ackermann
Holger Meuel
Bodo Rosenhahn
Jörn Ostermann
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Leibniz Universitaet Hannover
Original Assignee
Leibniz Universitaet Hannover
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Leibniz Universitaet Hannover filed Critical Leibniz Universitaet Hannover
Priority to DE102017129770.7A priority Critical patent/DE102017129770B4/de
Priority to EP18819308.0A priority patent/EP3725069A1/de
Priority to PCT/EP2018/084582 priority patent/WO2019115623A1/de
Publication of DE102017129770A1 publication Critical patent/DE102017129770A1/de
Application granted granted Critical
Publication of DE102017129770B4 publication Critical patent/DE102017129770B4/de
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range
    • H04N25/58Control of the dynamic range involving two or more exposures
    • H04N25/587Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Verfahren zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrichtung (10), mit den Schritten:- Belichten mindestens eines Bildsensorpixels (15) eines digitalen Bildsensors (14) der Aufnahmevorrichtung (10) über einen vorgegebenen Belichtungszeitraum hinweg,- Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15) mittels einer elektronischen Ausleseschaltung (16) der Aufnahmevorrichtung (10) am Ende des Belichtungszeitraumes (t), wobei das elektrische Signal eine akkumulierte Ladung als Reaktion auf das einfallende Licht des jeweiligen Bildsensorpixels (15) repräsentiert,- Ermitteln eines digitalen Pixelwertes für jeden Bildsensorpixel (15) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen Bildsensorpixels (15) mittels einer elektronischen Recheneinheit (17) der Aufnahmevorrichtung (10), wobei der jeweilige Pixelwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels (15) repräsentierten akkumulierten Ladung entspricht, und- Generieren eines Digitalbildes basierend auf den ermittelten digitalen Pixelwerten mittels der elektronischen Recheneinheit (17), wobei das Verfahren weiterhin die folgenden Schritte umfasst:- Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15) während des Belichtungszeitraumes an einem oder mehreren diskreten Auslesezeitpunkten (t-t) innerhalb des Belichtungszeitraumes mittels der elektronischen Ausleseschaltung (16), und mittels der elektronischen Recheneinheit (17)- Ermitteln eines digitalen Pixelzwischenwertes (v-v) für jeden ausgelesenen Bildsensorpixel (15) an den jeweiligen diskreten Auslesezeitpunkten (t-t) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen Bildsensorpixels (15) an dem jeweiligen diskreten Auslesezeitpunkt (t-t), wobei der jeweilige Pixelzwischenwert (v-v) der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels (15) repräsentierten akkumulierten Ladung zum jeweiligen diskreten Auslesezeitpunkt (t-t) entspricht, und- Schätzen eines digitalen Pixelwerte (v) für den mindestens einen mehrfach ausgelesenen Bildsensorpixel (15) in Bezug auf das Ende des Belichtungszeitraumes (t) in Abhängigkeit von den ermittelten digitalen Pixelzwischenwerten (v-v) des jeweiligen Bildsensorpixels (15) und deren jeweiligen diskreten Auslesezeitpunkten (t-t), wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels (15) am Ende des Belichtungszeitraumes (t) eine Ladungssättigung (v) erreicht hat,- wobei eine ortsbezogene Pixel-Rauschreduzierung durchgeführt wird, wobei für die ortsbezogene Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes (v-v) eines Bildsensorpixel an einem Auslesezeitpunkt (t-t) andere Pixelzwischenwerte (v-v) anderer Bildsensorpixel (t-t) herangezogen werden, und- wobei für mindestens einen Bildsensorpixel eine zeitbezogene Pixel-Rauschreduzierung durchgeführt wird, wobei für die zeitbezogene Pixel-Rauschreduzierung eines Pixelzwischenwertes des mindestens einen Bildsensorpixel oder des geschätzten digitalen Pixelwertes die ermittelten Pixelzwischenwerte des mindestens einen Bildsensorpixel herangezogen werden.

Description

  • Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrichtung, wobei ein Bildsensor belichtet und in Reaktion auf die Belichtung des Bildsensors dann ein Digitalbild ermittelt wird.
  • Die Digitalfotografie hat weitestgehend die analoge Fotografie abgelöst. Bei der Digitalfotografie wird ein Bildsensor, der aus einem oder mehreren Sensorpixeln besteht, belichtet, wobei basierend auf der Belichtung der einzelnen Sensorpixel als Reaktion auf das einfallende Licht eine elektrische Ladung akkumuliert wird, die proportional zu der Menge des einfallenden Lichtes und von dem Sensor aufgenommenen Lichtes ist. Die akkumulierte elektrische Ladung wird am Ende der Belichtungszeit ausgelesen, wobei die Menge der elektrischen Ladung einem quantifizierten Wert zugeordnet wird, der dann später den entsprechenden Pixelwert an der entsprechenden Bildposition repräsentiert. Der Wert, der der akkumulierten Ladung an der jeweiligen Bildposition entspricht, wird dabei meist digital angegeben und hat in der Regel einen vorgegebenen Wertbereich, der bei einer 8-Bit Tiefe Werte zwischen 0 und 255 annehmen kann. Dabei sind auch Sensoren mit 12 bis 14-Bit Tiefe und selten sogar bei Spezialkameras bis zu 16-Bit Tiefe bekannt.
  • Ein Problem hierbei besteht bei zu fotografierenden Szenen, die eine sehr starke unterschiedliche Ausleuchtung haben und somit einen hohen Dynamikumfang (englisch: high dynamic range) besitzen. Der Dynamikumfang wird dabei definiert als Quotient zwischen dem Wert des hellsten Bereiches der Szene und dem dunkelsten Bereich der Szene. Je größer der Dynamikumfang dabei ist, desto schwieriger wird eine vernünftige Belichtung des Bildes, wenn es weder überbelichtet noch unterbelichtet sein soll.
  • Weist eine Szene einen hohen Dynamikumfang auf, so werden durch eine kurze Belichtungszeit die hellen Bereiche der zu fotografierenden Szene gut abgebildet, während jedoch die dunklen Bereiche je nach Dynamikumfang unterbelichtet verbleiben. Andersherum verhält es sich, wenn die Belichtungszeit sehr lang gewählt wird, wodurch die dunklen Bereiche der Szene ausreichend aufgenommen werden, während jedoch die hellen Bereiche überbelichtet werden. Der Grund hierfür liegt darin, dass bei einer zu langen Belichtungszeit die die hellen Bereiche repräsentierenden Sensorpixel sehr stark belichtet werden, wodurch die durch die Sensorpixel akkumulierte Ladung vor Ende der Belichtungszeit ihre Ladungssättigung (Ladungsmaximum) erreichen, während die dunklen Bereiche noch nicht ausreichend für eine vernünftige Fotografie belichtet wurden.
  • Um Digitalbilder mit einem hohen Dynamikumfang (HDR: High Dynamic Range) zu erzeugen, ist es aus der Praxis beispielsweise bekannt, in einer kurzen Abfolge mehrere Bilder derselben Szene aufzunehmen, wobei jeweils die Belichtungszeit variiert. Anschließend werden über- und unterbelichtete Bereiche durch die entsprechenden Bereiche aus den anderen Bildern ersetzt, wodurch eine optimale Aufnahme in Bezug auf die Belichtung des Bildes erzielt werden kann.
  • Allerdings hat dies in der Praxis einige Nachteile. So muss für die Aufnahme sichergestellt sein, dass sich während der Aufnahme die Szene an sich nicht verändert, da ansonsten einzelne Bilder entstehen, die sich in ihrem Inhalt unterscheiden. Dies kann beim Zusammensetzen der Bilder zu einem HDR-Digitalbild zu Artefakten und Ghosting-Effekten führen. Sich sehr schnell verändernde Szenen, wie beispielsweise Aufnahmen von Sportveranstaltungen, können so ggf. unmöglich werden. Außerdem bedarf es bei dieser Art der Erzeugung eines HDR-Digitalbildes einer nicht unerheblichen Rechenleistung, um die einzelnen Bilder zu analysieren und zu einem Bild zusammenzusetzen und dabei ggf. auch Veränderungen herauszurechnen.
  • Ein weiteres Problem besteht darin, dass nicht beliebig viele Bilder mithilfe herkömmlicher Aufnahmevorrichtungen hintereinander aufgenommen werden können, was grundsätzlich die Qualität und den Dynamikumfang verbessern würden. Herkömmliche Aufnahmevorrichtungen, wie beispielsweise Digitalkameras, limitieren bei der Übertragungsrate des erstellten Digitalbildes von dem internen Chip auf den digitalen Datenspeicher. Daher ist dieses Verfahren für bekannte Digitalkameras nicht ohne weiteres skalierbar.
  • Aus der DE 10 2016 218 843 A1 ist ein Bilderzeugungssystem bekannt, das einen Bildsensor beinhaltet, der eine Anordnung von Dual-Gain-Pixeln aufweist. Jedes Pixel kann anhand eines verbesserten Dreifach-Leseverfahrens und eines verbesserten Vierfach-Leseverfahrens angesteuert werden, so dass alle Signale in einer High-Gain-Konfiguration gelesen werden können, um einen elektrischen Versatz in den Signalstärken zu verhindern. Allerdings stellen Dual-Gain-Pixel mit zwei Auslesepfaden eine Modifikation der Hardware dar, so dass bereits bestehende Aufnahmevorrichtungen nicht entsprechend ohne weiteres nachgerüstet werden können.
  • Aus der EP 2 453 646 A2 ist eine Bildaufnahmevorrichtung bekannt, bei der ein elektronischer Shutter gesteuert wird, um die Belichtungszeit und die Belichtung an sich zu steuern.
  • Mit der weiten Verbreitung von Digitalkameras auch im Endkundenbereich besteht ein Bedürfnis auch im privaten Bereich Digitalbilder mit einer immer besseren Qualität zu erzeugen. Dabei besteht das Bedürfnis, auch qualitative HDR-Digitalbilder zu erzeugen, was nach derzeitigem Stand der Technik nur durch eine komplizierte Hardwaremodifikation der digitalen Bildsensoren möglich ist. Somit bleibt bereits bestehenden Kameras eine derartige Verbesserung in der Regel verwehrt.
  • Aus KACHATKOU, Anton; VAN SILFHOUT, Roelof: Dynamic Range Enhancement Algorithms for CMOS Sensors with Non-Destructive Readout. IEEE International Workshop on Imaging Systems and Techniques, IST 2008, Chania, Crete, Greece, September 10-12, 2008. Procs, ISSN 1558-2809 ist in Form eines wissenschaftlichen Paper die Idee offenbart, während der Belichtungszeit einen Bildsensor mehrfach auszulesen und die gesättigten Bildwechsel entsprechend dem vorhergehenden Werten zu Extrapolieren. Auch aus JACQUOT, Blake C.; JOHNSON-WILLIAMS, Nathan: Multiple-samples-method enabling high dynamic range imaging for high frame rate CMOS image sensor by FPGA and co-processor. Proc. SPIE 9216, Optics and Photonics for Information Processing VIII, 921609 (19 September 2014), aus JACQUOT, Blake C.; JOHNSON-WILLIAMS, Nathan: Real-time algorithm enabling high dynamic range imaging and high frame rate exploitation for custom CMOS image sensor system implemented by FPGA with co-processor. Proc. SPIE 9400, Real-Time Image and Video Processing 2015, 940004 (27 February 2015) sowie aus LIU, Xinqiao; EL GAMAL, Abbas: Photocurrent estimation from multiple nondestructive samples in CMOS image sensor. Proc. SPIE 4306, Sensors and Camera Systems for Scientific, Industrial, and Digital Photography Applications II, (15 May 2001) ist die grundsätzliche Idee offenbart, während der Belichtungszeit einen Bildsensor mehrfach auszulesen.
  • Aus SALAZAR SOTO, Arnoldo: Design and Implementation of a CMOS imager with active column for SPR-based sensors. Micro and nanotechnologies/Microelectronics. Universite de Grenoble, 2013. English. <NNT: 2013GRENT063>. <tel-01062484> ist in Form einer Dissertation das Design und die Implementierung eines CMOS Bildsensors mit aktiven Spalten bekannt.
  • Aus der US 2003 / 0 098 919 A1 sowie der US 2003 / 0 095 189 A1 ist ein Verfahren und ein System zum Erkennen einer Bewegung bzw. Sättigung bei der Digitalbildaufnahme unter Erhöhung des Dynamikbereiches und zur Vermeidung von Bewegungsunschärfe bekannt. Hierzu wird die elektrische Ladung bei der Aufnahme des konkreten Digitalbildes eines einzelnen Bild Pixels mit einer geschätzten elektrischen Ladung verglichen, wobei beim Überschreiten der so gebildeten Differenz in Bezug auf einen Schwellenwert auf eine Bewegung bzw. Sättigung geschlossen wird.
  • Die EP 1 909 492 A1 offenbart eine Kamera, bei der ebenfalls der digitale Bildsensor während der Belichtungszeit mehrfach ausgelesen wird. Hierbei werden zwei Bilder erstellt, wobei sich ein erstes Bild aus dem gesamten Belichtungszeitraum ergibt, während sich ein zweites Bild nur aus einem Teil des Belichtungszeitraumes ergibt.
  • Basierend auf diesen beiden Bildern mit einer langen und einer kurzen Belichtungszeit wird nun ein Digitalbild erstellt, das einen sehr hohen Dynamikumfang hat. Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Aufnehmen eines Digitalbildes mit einem insbesondere hohen Dynamikumfang anzugeben, mit dem sich auch dann HDR-Digitalbilder erzeugen lassen, wenn weder der bildgebende Sensor dafür geeignet ist noch die Aufnahmevorrichtung selber zur entsprechenden Fusion mehrerer aufgenommener Digitalbilder ausgebildet ist.
  • Die Aufgabe wird mit dem Verfahren gemäß Anspruch 1 sowie der Aufnahmevorrichtung gemäß Anspruch 10 erfindungsgemäß gelöst.
  • Gemäß Anspruch 1 wird ein Verfahren zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrichtung vorgeschlagen, wobei gattungsgemäß ein digitaler Bildsensor der Aufnahmevorrichtung über einen vorgegebenen Belichtungszeitraum hinweg belichtet wird. Durch das Belichten des digitalen Bildsensors werden die in dem digitalen Bildsensor enthaltenen Bildsensorpixel ebenfalls belichtet, wobei jedes dieser Bildsensorpixel einen Bildpunkt oder eine Gruppe von Bildpunkten repräsentiert. Am Ende des Belichtungszeitraumes werden nun von den einzelnen Bildsensorpixeln elektrische Signale mittels einer elektronischen Ausleseschaltung ausgelesen, wobei die elektrischen Signale jedes einzelnen Bildsensorpixels jeweils eine akkumulierte Ladung als Reaktion auf das einfallende Licht des jeweiligen Bildsensorpixels repräsentieren. Basierend auf diesen elektrischen Signalen wird nun für jeden Bildsensorpixel ein digitaler Pixelwert mittels einer elektronischen Recheneinheit ermittelt, wobei der jeweilige Pixelwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels repräsentierten akkumulierten Ladung entspricht. Anschließend wird ein Digitalbild basierend auf den ermittelten digitalen Pixelwerten mittels der elektronischen Recheneinheit generiert und ggf. in einen digitalen Datenspeicher hinterlegt. Die Pixelwerte können eine Repräsentation von Helligkeits- und/oder Farbwerten sein.
  • Erfindungsgemäß wird dieses gattungsgemäße Verfahren zum Aufnehmen eines Digitalbildes dahingehend verändert und ergänzt, dass mithilfe der elektronischen Ausleseschaltung die elektrischen Signale von zumindest einem Teil der Bildsensorpixel mehrfach während des Belichtungszeitraumes an diskreten Auslesezeitpunkten innerhalb des Belichtungszeitraumes ausgelesen werden, wobei hierfür die Belichtung des Bildsensorpixels gerade nicht unterbrochen werden soll. Vielmehr wird innerhalb des Belichtungszeitraumes ein Bildsensorpixel mehrfach ausgelesen, wobei das Auslesen an jeweils diskreten Auslesezeitpunkten innerhalb des Belichtungszeitraumes erfolgt. An dem jeweiligen diskreten Auslesezeitpunkt innerhalb des Belichtungszeitraumes wird dabei das jeweilige Bildsensorpixel mithilfe der Ausleseschaltung allerdings nur einmal ausgelesen, so wie dies herkömmlicherweise am Ende des Belichtungszeitraumes gemäß dem Stand der Technik standardmäßig erfolgt.
  • Für jeden der mehrfach ausgelesenen Bildsensorpixel an den jeweils diskreten Auslesezeitpunkten wird nun ein digitaler Pixelzwischenwert basierend auf dem ausgelesenen Signal des jeweiligen Bildsensorpixels ermittelt, wobei dieser Pixelzwischenwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels repräsentierten akkumulierten Ladung dem jeweiligen diskreten Auslesezeitpunkt entspricht. Die bis zum Auslesezeitpunkt akkumulierte Ladung des jeweiligen Bildsensorpixels wird dabei nach dem Auslesen mittels der elektronischen Ausleseschaltung nicht zurückgesetzt bzw. resetted, so dass am Ende des Belichtungszeitraumes die gesamte akkumulierte Ladung in den jeweiligen Bildsensorpixeln enthalten ist. Werden beispielsweise an jedem Auslesezeitpunkt innerhalb des Belichtungszeitraumes alle Bildsensorpixel des digitalen Bildsensors mithilfe der elektronischen Ausleseschaltung ausgelesen und entsprechend die Pixelzwischenwerte ermittelt, so liegt zu jedem diskreten Auslesezeitpunkt innerhalb des Belichtungszeitraumes ein Zwischenbild der aufgenommenen Szene vor, das an dem jeweiligen diskreten Auslesezeitpunkt durch die Pixelzwischenwerte definiert wird.
  • Dabei muss nicht zwingend zu jedem diskreten Auslesezeitpunkt auch jeder Bildsensorpixel ausgelesen werden. Es ist denkbar und auch vorteilhaft, wenn jeder Bildsensorpixel seine eigenen diskreten Auslesezeitpunkte hat, die zumindest teilweise voneinander verschieden sein können. So kann es sein, dass eine erste Gruppe von Bildsensorpixeln einen ersten diskreten Auslesezeitpunkt hat, der sich von dem ersten diskreten Auslesezeitpunkt einer zweiten Gruppe von Bildsensorpixeln unterscheidet. Mit anderen Worten, jeder Bildsensorpixel oder Gruppen von Bildsensorpixeln können eigene, individuelle diskrete Auslesezeitpunkte aufweisen.
  • Jeder betreffende Bildsensorpixel wird somit innerhalb des Belichtungszeitraumes mehrfach ausgelesen, und zwar einmal an jedem, den jeweiligen Bildsensorpixel betreffendendiskreten Auslesezeitpunkt, so dass an jedem diskreten Auslesezeitpunkt ein jeweiliger Pixelzwischenwert ermittelbar ist, so dass sich über den gesamten Belichtungszeitraum hinweg für den betreffenden Bildsensorpixel mehrere Pixelzwischenwerte ergeben.
  • Für jeden mehrfach ausgelesenen Bildsensorpixel wird nun ein digitaler Pixelwert in Bezug auf das Ende des Belichtungszeitraumes in Abhängigkeit von den ermittelten digitalen Pixelzwischenwerten an den jeweiligen Auslesezeitpunkten geschätzt, wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Sensorpixels am Ende des Belichtungszeitraumes eine Ladungssättigung erreicht hat. Hat die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels über den Belichtungszeitraum hinweg seine Ladungssättigung erreicht, so würde ein hierauf basierender digitaler Pixelwert ein vorgegebenes Wertemaximum erreicht haben. Sind großflächig mehrere Bereiche der aufgenommenen Szene hiervon betroffen, würde das spätere Digitalbild in diesen Bereichen überbelichtet sein. Durch das Schätzen wird jedoch das Wertemaximum der zu akkumulierenden Ladung des jeweiligen Bildsensorpixels vergrößert, und zwar über die physikalische Ladungssättigung hinaus, wodurch auch ein mögliches Wertemaximum bezüglich der zu ermittelnden Pixelwerte vergrößert wird. Es kann demzufolge ein Pixelwert ermittelt werden, der auf der akkumulierten Ladung eines Bildsensorpixels basiert, so als hätte der Bildsensorpixel physikalisch keine Ladungssättigung bezüglich der akkumulierbaren Ladung während der Belichtungszeit.
  • Basierend auf den geschätzten digitalen Pixelwerten oder den normal ermittelten Pixelwerten, wenn der jeweilige Bildsensorpixel nicht mehrfach ausgelesen wurde oder seine Ladungssättigung nicht erreicht hat, wird dann das Digitalbild generiert, wobei durch das Schätzen einzelner oder ggf. sogar aller digitalen Pixelwerte der Quotient zwischen dem hellsten Pixelwert und dem dunkelsten Pixelwert gegenüber herkömmlichen Digitalbildern vergrößert wird und somit insgesamt der Dynamikumfang erhöht ist.
  • Dabei ist es für Spezialanwendungen denkbar, dass der Bildsensor lediglich nur ein einziges Bildsensorpixel enthält, was bspw. bei der Rastertunnelmikroskopie der Fall sein kann. Daher sind sämtliche Ausführungen auch dahingehend zu verstehen, dass nur ein einziger Bildsensorpixel vorhanden ist, dessen natürliche Ladungssättigung rechnerisch vergrößert wurde.
  • Mit der vorliegenden Erfindung gelingt es, auch bei herkömmlichen Bildsensorpixeln, die beispielsweise nur über einen einzigen Ladungsspeicher sowie über eine einzige Ausleseschaltung pro Sensorpixel verfügen, dennoch ein HDR-Digitalbild aufzunehmen, ohne dass der digitale Bildsensor hierfür verändert werden muss, vielmehr kann auf bestehende und zum Zeitpunkt der Anmeldung erhältliche digitale Bildsensoren zurückgegriffen werden, um ein entsprechendes HDR-Digitalbild nach der Lehre der vorliegenden Erfindung aufnehmen zu können.
  • Unter Schätzen eines digitalen Pixelwertes im Sinne der vorliegenden Erfindung wird insbesondere eine Extrapolation in Bezug auf das Ende des Belichtungszeitraumes basierend auf den ermittelten digitalen Pixelzwischenwerten verstanden, wobei auch weitere Verfahren einschließlich Rauschunterdrückungsverfahren Anwendung finden können. Im einfachsten Fall wird beim Extrapolieren eines Pixelwertes für einen Bildsensorpixel derjenige Pixelwert ermittelt, der sich am Ende der Belichtungszeit ergeben würde, wenn der jeweilige Bildsensorpixel keine physikalische Ladungssättigung hätte. Hierfür werden die einzelnen Pixelzwischenwerte, die an den jeweils diskreten Auslesezeitpunkten basierend auf der zu dem jeweiligen Auslesezeitpunkt akkumulierten Ladung ermittelt wurden, herangezogen, um einen entsprechenden extrapolierten digitalen Pixelwert außerhalb des eigentlichen Wertebereiches ermitteln zu können.
  • Dabei ist es denkbar, dass die Pixel einzeln bzw. gleichzeitig ausgelesen werden oder dass die Pixel zeilenweise ausgelesen werden, um die einzelnen Werte zu ermitteln.
  • Es ist hierbei vorteilhaft, wenn ein möglichst langer Belichtungszeitraum gewählt wird, wodurch zwar viele der Bildsensorpixel im herkömmlichen Sinne überbelichtet werden und ihre Ladungssättigung erreichen, wobei aufgrund der vorliegenden Erfindung jedoch genau diese Bildsensorpixel mit entsprechend extrapolierten Pixelwerten korrigiert werden. Es ist daher besonders vorteilhaft, wenn die Bildsensorpixel ohne Unterbrechung über den gesamten Belichtungszeitraum hinweg belichtet werden um so die notwendigen Zwischensamples für das Extrapolieren der Pixelwerte zu erreichen.
  • Es ist darüber hinaus ebenfalls vorteilhaft, wenn der Belichtungszeitraum so gewählt wird, dass mehr als 25 %, vorzugsweise bei mehr als 50 %, der belichteten Bildsensorpixel einen vorgegebenen Ladungsschwellenwert erreicht haben. Dieser vorgegebene Ladungsschwellenwert kann bspw. die Ladungssättigung sein, d.h. der Belichtungszeitraum wird so gewählt, dass bei 25% bzw. 50% der Bildsensorpixel die akkumulierte Ladung das Maximum bzw. die Ladungssättigung erreicht und somit ein am Ende des Belichtungszeitraumes ermittelter Pixelwert sein vorgegebenes Wertemaximum erreicht hat. Dies könnte beispielsweise mithilfe einer elektronischen Recheneinheit vor Aufnahme der zu fotografierenden Szene ermittelt werden, indem beispielsweise ein Testfoto geschossen und die entsprechenden Lichtverhältnisse anhand der Belichtungscharakteristik des aufgenommenen Bildes ermittelt werden. Somit kann sichergestellt werden, dass der Belichtungszeitraum hinreichend lange gewählt wird, um so auch sicherzustellen, dass ein entsprechend großer Dynamikumfang entsteht. Es ist dabei allerdings nicht unbedingt vorteilhaft, eine Belichtungszeit zu wählen, die dazu führt, dass nahezu alle Bildsensorpixel überbelichtet werden, d.h. ihr Ladungsmaximum erreichen, da durch das Extrapolieren auch ein Fehler entsteht, der sich eben in einer Abweichung zum Original niederschlägt und der umso größer ist, je weiter der extrapolierte Pixelwert von seinem eigentlichen vorgegebenen Wertemaximum, der dem Ladungsmaximum entspricht, entfernt liegt. Denkbar ist aber auch, dass mit Hilfe von Sensoren, bspw. Helligkeitsmessern, eine Messung bzw. Analyse der Lichtverhältnisse durchgeführt wird, so dass auch auf ein Testfoto verzichtet werden kann.
  • Wie bereits erwähnt, wird das Digitalbild dann basierend auf den extrapolierten Pixelwerten sowie den am Ende des Belichtungszeitraumes ermittelten Pixelwerten, wenn der betreffende Bildsensorpixel das Ladungsmaximum nicht erreicht hat, generiert, so dass das Digitalbild sowohl aus extrapolierten Pixelwerten als auch am Ende des Belichtungszeitraumes ermittelten Pixelwerten bestehen kann.
  • Demzufolge entspricht das Ladungsmaximum einem ursprünglichen Wertemaximum der Pixelwerte, wobei ein extrapolierter digitaler Pixelwert größer oder gleich dem ursprünglichen Wertemaximum ist und somit das ursprüngliche Wertemaximum, theoretisch beliebig, vergrößert.
  • Erfindungsgemäß wird eine Pixel-Rauschreduzierung durchgeführt, wobei für die Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes an einem Auslesezeitpunkt andere Pixelzwischenwerte desselben Auslesezeitpunktes herangezogen werden. Demzufolge wird eine Pixel-Rauschreduzierung vorteilhafterweise an jedem der Auslesezeitpunkte für jeden an diesem Auslesezeitpunkt ermittelten Pixelzwischenwert durchgeführt, um so Fehler bei der Ermittlung der Pixel-Zwischenwerte zu reduzieren.
  • Dabei wird die Pixel-Rauschreduzierung vorteilhafterweise für alle Pixelzwischenwerte mindestens eines Auslesezeitpunktes durchgeführt, um so ein rauschreduziertes Zwischenbild zu generieren.
  • In einer weiteren vorteilhaften Ausführungsform hierzu werden für die Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes an einem Auslesezeitpunkt andere Pixelzwischenwerte herangezogen, deren Bildsensorpixel von dem Bildsensorpixel des Zwischenwertes verschieden sind und bspw. in einem vorgegebenen Bereich um den Bildsensorpixel des Zwischenwertes liegen, für den die Pixel-rauschreduzierung durchgeführt wird. Denkbar ist aber auch, dass zur Rauschreduzierung eines Pixelzwischenwertes alle anderen Pixelzwischenwerte herangezogen werden.
  • Die anderen Pixelzwischenwerte können zu demselben Auslesezeitpunkt gehören oder interpolierte Werte aus zeitlich benachbarten Auslesezeitpunkten sein.
  • Erfindungsgemäß wird für mindestens einen Bildsensorpixel eine zeitbezogene Pixel-Rauschreduzierung durchgeführt, wobei für die zeitbezogene Pixel-Rauschreduzierung eines Pixelzwischenwertes des mindestens einen Bildsensorpixel oder des geschätzten digitalen Pixelwertes die ermittelten Pixelzwischenwerte des mindestens einen Bildsensorpixel herangezogen werden.
  • Erfindungsgemäß wird im Übrigen auch eine Aufnahmevorrichtung zum Aufnehmen eines Digitalbildes vorgeschlagen, wobei die Aufnahmevorrichtung einen digitalen Bildsensor hat, der mindestens einen Bildsensorpixel aufweist. Die Aufnahmevorrichtung weist des Weiteren eine Ausleseschaltung zum Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels auf, wobei das elektrische Signal jeweils eine akkumulierte Ladung als Reaktion auf einfallendes Licht des jeweiligen Bildsensorpixels repräsentiert. Die Aufnahmevorrichtung weist des Weiteren eine Recheneinheit zum Ermitteln mindestens eines digitalen Pixelwertes basierend auf dem mindestens einen ausgelesenen elektrischen Signal und zum Generieren eines Digitalbildes basierend auf dem mindestens einen ermittelten digitalen Pixelwert auf. Erfindungsgemäß ist die Aufnahmevorrichtung, insbesondere die elektronische Recheneinheit, zur Durchführung des vorstehend genannten Verfahrens ausgebildet.
  • Vorteilhafterweise weist die Aufnahmevorrichtung einen Bildsensor auf, der eine Mehrzahl von Bildsensorpixel hat, wobei für jeden Bildsensorpixel ein oder mehrere elektrische Signale ausgelesen werden können. Für jeden Bildsensorpixel kann nun ein digitaler Pixelwert basierend auf den elektrischen Signalen ermittelt werden.
  • So ist es denkbar, dass eine herkömmliche Digitalkamera durch ein Firmwareupdate ohne Änderung an dem digitalen Bildsensor zur Durchführung des vorstehend genannten Verfahrens zur Aufnahme eines HDR-Digitalbildes eingerichtet wird, so dass auch bestehende Digitalkameras bzw. Aufnahmevorrichtungen entsprechend ausgerüstet werden können.
  • Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:
    • 1 - Schematische Darstellung einer Aufnahmevorrichtung zum Aufnehmen von Digitalbildern;
    • 2 - Darstellung eines Sensorsignalverlaufes mit und ohne Extrapolation.
  • 1 zeigt eine Aufnahmevorrichtung 10, mit der eine aufzunehmende Szene 11 digital erfasst und ein entsprechendes Digitalbild generiert werden kann. Hierfür weist die Aufnahmevorrichtung 10 in der Regel ein Gehäuse 12, das an einer der Seiten des Gehäuses 12 eine Belichtungsoptik 13 oder eine anderweitige Vorrichtung hat, mit der ein digitaler Bildsensor 14 belichtet werden kann. Hierfür ist die Belichtungsoptik 13 so ausgebildet, dass sie bedarfsweise öffnet und nach Ablauf einer vorgegebenen Belichtungszeit bzw. eines Belichtungszeitraumes tE wieder schließt, wobei während der Öffnung der Belichtungsoptik 13 Licht der Szene 11 auf den digitalen Bildsensor 14 fällt. Nach dem Schließen der Belichtungsoptik 13 ist das Innere der Aufnahmevorrichtung 10 wieder vollständig abgedunkelt, so dass der digitale Bildsensor nicht versehentlich belichtet wird.
  • Der digitale Bildsensor 14 weist eine Mehrzahl von Bildsensorpixeln 15 auf, die beispielsweise nach Art einer Fotodiode als Reaktion auf das einfallende Licht während der Belichtungszeit tE eine elektrische Ladung in einem Ladungsspeicher akkumulieren. Jedes dieser Bildsensorpixel 15 weist dabei einen solchen Ladungsspeicher auf, wobei am Ende der Belichtungszeit anhand der akkumulierten Ladung ein Pixelwert ermittelt wird, der später dem entsprechenden Pixel in dem generierten Digitalbild entspricht und somit mit der akkumulierten Ladung in dem jeweiligen Bildsensorpixel 15 korreliert.
  • Mithilfe einer elektronischen Ausleseschaltung 16 können dabei die akkumulierten Ladungen der einzelnen Bildsensorpixel 15 ausgelesen und entsprechend quantifiziert werden, so dass basierend hierauf dann eine elektronische Recheneinheit 17 für jedes der ausgelesenen Bildsensorpixel 15 einen entsprechenden Pixelwert ermitteln kann. Im einfachsten Fall entspricht ein solcher Pixelwert der quantifizierten akkumulierten Ladung des ausgelesenen Bildsensorpixels.
  • Nachdem die Recheneinheit nun sämtliche Pixelwerte der belichteten Bildsensorpixel 15 des digitalen Bildsensors 14 ermittelt hat, kann es basierend hierauf ein entsprechendes Digitalbild generieren und dieses in einem digitalen Speicher 18 hinterlegen.
  • Dabei werden die Bildsensorpixel 15 nicht, wie aus dem Stand der Technik bekannt, nur einmal am Ende der Belichtungszeit tE durch die elektronische Ausleseschaltung 16 ausgelesen, sondern jedes der betreffenden Bildsensorpixel 15 wird über den Belichtungszeitraum tE hinweg mehrfach ausgelesen, so dass sich für jeden dieser Bildsensorpixel 15 innerhalb des Belichtungszeitraumes tE mehrere Pixelwerte des jeweiligen Bildsensorpixels ermitteln lassen, die mit der zum Auslesezeitpunkt akkumulierten Ladung des jeweiligen Bildsensorpixels 15 korrelieren. Diese Pixelwerte werden Pixelzwischenwerte genannt, da sie einen Pixelwert innerhalb des Belichtungszeitraumes darstellen.
  • Für jedes dieser mehrfach ausgelesenen Bildsensorpixel wird sodann basierend auf den jeweiligen Pixelzwischenwerten ein Pixelwert für das Ende des Belichtungszeitraumes extrapoliert, wenn der jeweilige Bildsensorpixel 15 vor dem Erreichen des Endes des Belichtungszeitraumes sein Ladungsmaximum bzw. seine Ladungssättigung erreicht hat.
  • Basierend auf diesen extrapolierten Pixelwerten und den jeweils übrigen Pixelwerten zum Ende des Belichtungszeitraumes wird dann das Digitalbild generiert und in dem digitalen Speicher 18 hinterlegt.
  • Der Vorteil hierbei besteht darin, dass ein hoher Dynamikumfang erreicht werden kann, da nunmehr auch Pixelwerte berechnet werden können, wenn diese aufgrund des Erreichens einer Ladungssättigung herkömmlicherweise gar nicht mehr ermittelbar wären.
  • Dies wird in 2 noch einmal veranschaulicht. Auf der X-Achse ist dabei die Belichtungszeit t gezeigt, während auf der Y-Achse ein aus der akkumulierten Ladung abgeleiteter Wert, beispielsweise ein Pixelwert, abgetragen ist. Bei einem Wert vmax würde dabei der jeweilige Bildsensorpixel sein Ladungsmaximum erreichen, so dass auch bei einer weiteren Belichtung dieses Bildsensorpixels keine weitere Ladung akkumuliert werden würde und somit Informationen oberhalb von vmax nicht mehr ermittelbar sind.
  • Genau ein solcher Fall ist im oberen Diagramm gezeigt. Während der Belichtung von t = 0 bis zum Ende des Belichtungszeitraumes tE steigt die in dem Bildsensorpixel akkumulierte Ladung kontinuierlich an, wobei sie vor Ende des Belichtungszeitraumes tE ihr Ladungsmaximum vmax erreicht. Demzufolge kann dieser Bildsensorpixel keine weiteren Informationen bezüglich der Belichtung aufnehmen. Dies geschieht in herkömmlichen Bildsensoren.
  • Das untere Diagramm zeigt das Wirkprinzip der vorliegenden Erfindung. Der Belichtungszeitraum von 0-tE wird in n, nicht notwendigerweise gleichlange Zeiträume aufgeteilt. Im vorliegenden Ausführungsbeispiel wird der Belichtungszeitraum in jeweils fünf Zeiträume unterteilt, wobei an den diskreten Zeitpunkten t1-t4 sowie tE das jeweilige Bildsensorpixel mithilfe der elektronischen Ausleseschaltung ausgelesen und ein entsprechender Wert bezüglich der jeweiligen akkumulierten Ladung an dem jeweiligen Auslesezeitpunkt t1-t4, tE ermittelt wird. Wie zu erkennen ist, wird an den diskreten Zeitpunkten t1, t2, t3 und t4 jeweils noch ein gültiger Wert bezüglich der akkumulierten Ladung der einzelnen Auslesezeitpunkte ermittelt, wobei zwischen t4 und dem Ende des Belichtungszeitraumes tE das Sensorpixel in seine Ladungssättigung vmax laufen würde. Der Wert zum Zeitpunkt tE ist somit nicht mehr messbar.
  • Für ein solches Bildsensorpixel liegen somit an den diskreten Auslesezeitpunkten t1-t4 jeweils ausgelesene Pixelwerte v1-v4 vor, welche die Werteentwicklung während der Belichtung des jeweiligen Sensorpixels zeigen. Durch eine Schätzung bzw. Extrapolation dieser auf der akkumulierten Ladung zu den jeweiligen Auslesezeitpunkten basierenden Werten v1-v4 kann nun der Wert vE zum Zeitpunkt des Endes des Belichtungszeitraumes tE extrapoliert werden, wobei dieser Wert vE oberhalb des möglichen Ladungsmaximums vmax liegt und somit physikalisch nicht messbar wäre. Durch die Extrapolation der zuvor in den jeweiligen Zwischenschritten ermittelten Zwischenwerte v1-v4 lässt sich jedoch dennoch ein solcher Wert vE zum Ende des Belichtungszeitraumes tE extrapolieren.
  • Sei I ein Digitalbild und I(x,y,t) der Wert eines Pixels an der Position (x,y) zum Zeitpunkt t. Es sei weiter angenommen, dass der Wert eines Pixels (x',y') gemessen am Ende der Belichtungszeit tE sein maximales Sensorlimit bzw. Ladungslimit vmax erreicht hat. Gemäß der vorliegenden Erfindung wird anstelle eines tatsächlichen gemessenen Wertes ṽ (x',y',tE) ein Wert v̂(x',y',tE) => vmax berechnet. Alle mit einem „^“ (Dach) gekennzeichneten Werte stellen einen Schätzwert dar, während alle mit einer Tilde gekennzeichneten Werte einen pertubierten Messwert (also einen verrauschten oder abgeschnittenen Messwert) darstellen.
  • Des Weiteren sei ts = tE/s eine kürzere Zeitspanne innerhalb des Belichtungszeitraumes tE wenn s > 1 ist. Unter der Annahme, dass die Lichtquelle nicht zu hell ist, kann erwartet werden, dass die Berechnung v̂(x',y',tS) < vmax ist, wenn s groß genug ist.
  • Es wird nun der Wert für jedes Bildsensorpixel bei (x',y',ts) für jedes s bis zum Erreichen von tE ermittelt, wodurch der Wert v̂(x',y',tE) aus den zuvor ermittelten Werten extrapoliert werden kann. Demzufolge kann der nicht messbare Wert v̂(x',y',tE) > vmax eines Bildsensorpixels (x',y') zum Zeitpunkt tE rekonstruiert werden, wenn die zuvor an den einzelnen Zeitpunkten ts ermittelten Werte bekannt sind.
  • Ohne Berücksichtigung von Rauschen und unter Annahme einer konstanten Illumination während der Belichtungszeit tE kann der Wert v̂(x',y',tE) durch v ^ ( x ' , y ' , t E ) s v ^ ( x ' , y ' , t s )
    Figure DE102017129770B4_0001
    approximiert werden.
  • Wird ein zeitliches Rauschen angenommen, so ist der gemessene Wert v̂(x',y',tS) des Pixels (x', y') zum Zeitpunkt tS nicht exakt, so dass die Extrapolation s v ^ ( x ' , y ' , t s )
    Figure DE102017129770B4_0002
    durch ein entsprechendes Rauschen verfälscht ist. Je größer der Wert von s (kürzere Zeiten ts) ist, desto größer wird der Extrapolationsfehler.
  • Sei k die Anzahl kürzester Belichtungszeiten mit tE/S, mit k = 1, ..., s ist und kmax der letzte Ausleseschritt, für den v̂(x',y',tk) ≤ vmax gilt, dann kann unter der oben genannten Gleichung (1) definiert werden: v ^ ( x ' , y ' , t E ) E { v ^ ( x ' , y ' ) } = 1 k max j = 1 k max s j v ^ ( x ' , y ' , j s t E )
    Figure DE102017129770B4_0003
    wobei E{v̂(x', y')} den Erwartungswert des extrapolierten Pixelwertes v̂(x',y') zum Zeitpunkt tE kennzeichnet.
  • Bezugszeichenliste
  • 10
    Aufnahmevorrichtung
    11
    Szene
    12
    Gehäuse
    13
    Belichtungsoptik
    14
    digitaler Bildsensor
    15
    Bildsensorpixel
    16
    elektronische Ausleseschaltung
    17
    Recheneinheit
    18
    Datenspeicher
    tE
    maximale Belichtungszeit
    t1-t4
    diskrete Auslesezeitpunkte
    v1-v4
    Werte an den diskreten Auslesezeitpunkten
    vmax
    Ladungsmaximum
    vE
    extrapolierter Pixelwert zum Ende des Belichtungszeitraumes

Claims (10)

  1. Verfahren zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrichtung (10), mit den Schritten: - Belichten mindestens eines Bildsensorpixels (15) eines digitalen Bildsensors (14) der Aufnahmevorrichtung (10) über einen vorgegebenen Belichtungszeitraum hinweg, - Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15) mittels einer elektronischen Ausleseschaltung (16) der Aufnahmevorrichtung (10) am Ende des Belichtungszeitraumes (tE), wobei das elektrische Signal eine akkumulierte Ladung als Reaktion auf das einfallende Licht des jeweiligen Bildsensorpixels (15) repräsentiert, - Ermitteln eines digitalen Pixelwertes für jeden Bildsensorpixel (15) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen Bildsensorpixels (15) mittels einer elektronischen Recheneinheit (17) der Aufnahmevorrichtung (10), wobei der jeweilige Pixelwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels (15) repräsentierten akkumulierten Ladung entspricht, und - Generieren eines Digitalbildes basierend auf den ermittelten digitalen Pixelwerten mittels der elektronischen Recheneinheit (17), wobei das Verfahren weiterhin die folgenden Schritte umfasst: - Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15) während des Belichtungszeitraumes an einem oder mehreren diskreten Auslesezeitpunkten (t1-t4) innerhalb des Belichtungszeitraumes mittels der elektronischen Ausleseschaltung (16), und mittels der elektronischen Recheneinheit (17) - Ermitteln eines digitalen Pixelzwischenwertes (v1-v4) für jeden ausgelesenen Bildsensorpixel (15) an den jeweiligen diskreten Auslesezeitpunkten (t1-t4) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen Bildsensorpixels (15) an dem jeweiligen diskreten Auslesezeitpunkt (t1-t4), wobei der jeweilige Pixelzwischenwert (v1-v4) der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels (15) repräsentierten akkumulierten Ladung zum jeweiligen diskreten Auslesezeitpunkt (t1-t4) entspricht, und - Schätzen eines digitalen Pixelwerte (vE) für den mindestens einen mehrfach ausgelesenen Bildsensorpixel (15) in Bezug auf das Ende des Belichtungszeitraumes (tE) in Abhängigkeit von den ermittelten digitalen Pixelzwischenwerten (v1-v4) des jeweiligen Bildsensorpixels (15) und deren jeweiligen diskreten Auslesezeitpunkten (t1-t4), wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels (15) am Ende des Belichtungszeitraumes (tE) eine Ladungssättigung (vmax) erreicht hat, - wobei eine ortsbezogene Pixel-Rauschreduzierung durchgeführt wird, wobei für die ortsbezogene Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes (v1-v4) eines Bildsensorpixel an einem Auslesezeitpunkt (t1-t4) andere Pixelzwischenwerte (v1-v4) anderer Bildsensorpixel (t1-t4) herangezogen werden, und - wobei für mindestens einen Bildsensorpixel eine zeitbezogene Pixel-Rauschreduzierung durchgeführt wird, wobei für die zeitbezogene Pixel-Rauschreduzierung eines Pixelzwischenwertes des mindestens einen Bildsensorpixel oder des geschätzten digitalen Pixelwertes die ermittelten Pixelzwischenwerte des mindestens einen Bildsensorpixel herangezogen werden.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass - für eine Mehrzahl von Bildsensorpixeln an den diskreten Auslesezeitpunkten (t1-t4) jeweils ein elektrisches Signal ausgelesen wird, - wobei digitale Pixelzwischenwerte (v1-v4) für jeden mehrfach ausgelesenen Bildsensorpixel (15) an den jeweiligen diskreten Auslesezeitpunkten (t1-t4) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen Bildsensorpixels (15) und dem jeweilige diskreten Auslesezeitpunkt (t1-t4) ermittelt werden und - wobei ein digitaler Pixelwert (vE) für jeden mehrfach ausgelesenen Bildsensorpixel in Bezug auf das Ende des Belichtungszeitraumes (tE) in Abhängigkeit von den ermittelten digitalen Pixelzwischenwerten (v1-v4) des jeweiligen Bildsensorpixels (15) und deren jeweiligen diskreten Auslesezeitpunkten (t1-t4) geschätzt wird, wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels (15) am Ende des Belichtungszeitraumes (tE) eine Ladungssättigung (vmax) erreicht hat.
  3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Digitalbild basierend auf mindestens einem geschätzten Pixelwert des jeweiligen Bildsensorpixels (15) und ggf. mindestens einem am Ende des Belichtungszeitraumes (tE) ermittelten Pixelwert, dessen Bildsensorpixel (15) die Ladungssättigung (vmax) nicht erreicht hat, generiert wird.
  4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der mindestens eine Bildsensorpixel (15) ohne Unterbrechung über den Belichtungszeitraum hinweg belichtet wird.
  5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das generierte Digitalbild in einem digitalen Datenspeicher (18) der Aufnahmevorrichtung (10) hinterlegt wird.
  6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Belichtungszeitraum (tE) derart gewählt wird, dass mehr als 25%, vorzugsweise mehr als 50% der belichteten Bildsensorpixel (15) einen vorgegebenen Ladungsschwellenwert (vmax) erreicht haben.
  7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ladungssättigung (vmax) einem ursprünglichen Wertemaximum des mindestens einen Pixelwertes entspricht, wobei ein geschätzter digitaler Pixelwert größer oder gleich dem ursprünglichen Wertemaximum ist.
  8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die ortsbezogene Pixel-Rauschreduzierung für alle Pixelzwischenwerte (v1-v4) mindestens eines Auslesezeitpunktes (t1-t4) durchgeführt wird.
  9. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass für die ortsbezogene Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes (v1-v4) an einem Auslesezeitpunkt (t1-t4) andere Pixelzwischenwerte (v1-v4) desselben Auslesezeitpunktes (t1-t4) herangezogen werden, deren Bildsensorpixel (15) in einem vorgegebenen Bereich um den Bildsensorpixel (15) des Pixelzwischenwertes liegen, für den die Pixel-Rauschreduzierung durchgeführt wird.
  10. Aufnahmevorrichtung (10) zum Aufnehmen eines Digitalbildes, mit einem digitalen Bildsensor, der mindestens einen Bildsensorpixel (15) hat, einer Ausleseschaltung (16) zum Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15), wobei das elektrische Signal eine akkumulierte Ladung als Reaktion auf einfallendes Licht des jeweiligen Bildsensorpixels (15) repräsentiert, und einer Recheneinheit (17) zum Ermitteln mindestens eines digitalen Pixelwertes basierend auf dem ausgelesenen elektrischen Signal des mindestens einen Bildsensorpixel (15) und zum Generieren eines Digitalbildes basierend auf dem mindestens einen ermittelten digitalen Pixelwert, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (10) eingerichtet ist zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 9.
DE102017129770.7A 2017-12-13 2017-12-13 Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes Expired - Fee Related DE102017129770B4 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE102017129770.7A DE102017129770B4 (de) 2017-12-13 2017-12-13 Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes
EP18819308.0A EP3725069A1 (de) 2017-12-13 2018-12-12 Verfahren und vorrichtung zum aufnehmen eines digitalbildes
PCT/EP2018/084582 WO2019115623A1 (de) 2017-12-13 2018-12-12 Verfahren und vorrichtung zum aufnehmen eines digitalbildes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102017129770.7A DE102017129770B4 (de) 2017-12-13 2017-12-13 Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes

Publications (2)

Publication Number Publication Date
DE102017129770A1 DE102017129770A1 (de) 2019-06-13
DE102017129770B4 true DE102017129770B4 (de) 2020-08-13

Family

ID=64665354

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102017129770.7A Expired - Fee Related DE102017129770B4 (de) 2017-12-13 2017-12-13 Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes

Country Status (3)

Country Link
EP (1) EP3725069A1 (de)
DE (1) DE102017129770B4 (de)
WO (1) WO2019115623A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095189A1 (en) * 2001-11-13 2003-05-22 Xinqiao Liu Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US20030098919A1 (en) * 2001-11-13 2003-05-29 Xinqiao Liu Photocurrent estimation from multiple captures for simultaneous SNR and dynamic range improvement in CMOS image sensors
EP1909492A1 (de) * 2006-10-02 2008-04-09 Arnold & Richter Cine Technik GmbH & Co. Betriebs KG Digitale Laufbildkamera
EP2453646A2 (de) * 2010-11-15 2012-05-16 Seiko Epson Corporation Bildaufnahmevorrichtung, Bildaufnahmeverfahren und Bildaufnahmeprogramm
DE102016218843A1 (de) * 2015-10-01 2017-04-06 Semiconductor Components Industries, Llc Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095189A1 (en) * 2001-11-13 2003-05-22 Xinqiao Liu Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
US20030098919A1 (en) * 2001-11-13 2003-05-29 Xinqiao Liu Photocurrent estimation from multiple captures for simultaneous SNR and dynamic range improvement in CMOS image sensors
EP1909492A1 (de) * 2006-10-02 2008-04-09 Arnold & Richter Cine Technik GmbH & Co. Betriebs KG Digitale Laufbildkamera
EP2453646A2 (de) * 2010-11-15 2012-05-16 Seiko Epson Corporation Bildaufnahmevorrichtung, Bildaufnahmeverfahren und Bildaufnahmeprogramm
DE102016218843A1 (de) * 2015-10-01 2017-04-06 Semiconductor Components Industries, Llc Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
JACQUOT, Blake C.; JOHNSON-WILLIAMS, Nathan: Multiple-samples-method enabling high dynamic range imaging for high frame rate CMOS image sensor by FPGA and co-processor. Proc. SPIE 9216, Optics and Photonics for Information Processing VIII, 921609 (19 September 2014); *
JACQUOT, Blake C.; JOHNSON-WILLIAMS, Nathan: Real-time algorithm enabling high dynamic range imaging and high frame rate exploitation for custom CMOS image sensor system implemented by FPGA with co-processor. Proc. SPIE 9400, Real-Time Image and Video Processing 2015, 940004 (27 February 2015); *
KACHATKOU, Anton; VAN SILFHOUT, Roelof: Dynamic Range Enhancement Algorithms for CMOS Sensors with Non-Destructive Readout. IEEE International Workshop on Imaging Systems and Techniques, IST 2008, Chania, Crete, Greece, September 10-12, 2008. Procs, ISSN 1558-2809. *
KLETTE, Reinhard; ZAMPERONI, Piero: Handbuch der Operatoren für die Bildbearbeitung. ISBN 978-3-528-06431-5. Braunschweig; Wiesbaden: Vieweg, 1992. Abschnitt 1.4, S. 29-34; Kapitel 6, S. 164-241. *
LIU, Xinqiao; EL GAMAL, Abbas: Photocurrent estimation from multiple nondestructive samples in CMOS image sensor. Proc. SPIE 4306, Sensors and Camera Systems for Scientific, Industrial, and Digital Photography Applications II, (15 May 2001); *
SALAZAR SOTO, Arnoldo: Design and Implementation of a CMOS imager with active column for SPR-based sensors. Micro and nanotechnologies/Microelectronics. Université de Grenoble, 2013. English. <NNT : 2013GRENT063>. <tel-01062484> *
SCOTT, P. F. I.; KACHATKOU, Anton S.; FROST, A. L.; VAN SILFHOUT, Roelof G.: A high dynamic range camera with a non-destructive readout complementary metal-oxide-semiconductor sensor. Meas. Sci. Technol. 20 (2009) 104004 (8pp) *

Also Published As

Publication number Publication date
DE102017129770A1 (de) 2019-06-13
WO2019115623A1 (de) 2019-06-20
EP3725069A1 (de) 2020-10-21

Similar Documents

Publication Publication Date Title
DE69919351T2 (de) Verbesserte dunkelbildsubtraktion
DE602005005553T2 (de) Abbildungsvorrichtung und Abbildungsverfahren
EP2030433B1 (de) Verfahren und anordnung zur behandlung von datensätzen bildgebender sensoren sowie ein entsprechendes computerprogramm und ein entsprechendes computerlesbares speichermedium
DE102007026337A1 (de) Digitale Kamera
DE102014218166B4 (de) Bildverarbeitungsvorrichtung und zugehöriges steuerverfahren
DE102015110326A1 (de) Bildverarbeitungsvorrichtung, Verfahren zum Steuern derselben und Speichermedium
DE102014013446A1 (de) Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung
DE10218313B4 (de) Digitale Laufbildkamera
EP2567539B1 (de) Bildsensor und verfahren zum aufnehmen eines bildes
DE112015005599T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE102009053281A1 (de) Bildsensor
EP2393286B1 (de) Verfahren und Vorrichtung zur Korrektur einer uneinheitlichen Sensitivität von Detektorelementen bei Wärmebildkameras
DE112015005499T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE10213564A1 (de) Verfahren zur Unterdrückung von Geistbildartefakten bei Röntgenbildern und Röntgenvorrichtung zur Durchführung dieses Verfahrens
DE102016118192A1 (de) Fokuserfassungsvorrichtung, Prädiktionsverfahren und zugehöriges Speichermedium
DE202017006792U1 (de) Bildverarbeitungseinheit und Computerprogramm zur Erkennung und Korrektur von Bildfehlern
EP1761071A1 (de) Verfahren zur Aufnahme eines Bildes und Digitalkamera
DE102017129770B4 (de) Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes
DE102008016393B4 (de) Verfahren zur Korrektur von Bildfehlern elektronischer Kameras
DE112017005810T5 (de) Bildaufnahmevorrichtung und Steuerverfahren dafür
DE112015006620T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE102008052679A1 (de) Digitalkamerasensor, Digitalkamera sowie Verfahren zum Aufnehmen eines Kamerabildes
DE112017002190T5 (de) Abbildungssystem mit zwei sensoren
DE4132853C2 (de) Verfahren und Vorrichtung zum Vermeiden des Helligkeitsflimmerns eines aus einer Filmkamera ausgespiegelten Video-Bildes
Meuel et al. Physical High Dynamic Range Imaging with Conventional Sensors

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R079 Amendment of ipc main class

Free format text: PREVIOUS MAIN CLASS: H04N0005341000

Ipc: H04N0025400000

R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee