WO2019115623A1 - Verfahren und vorrichtung zum aufnehmen eines digitalbildes - Google Patents

Verfahren und vorrichtung zum aufnehmen eines digitalbildes Download PDF

Info

Publication number
WO2019115623A1
WO2019115623A1 PCT/EP2018/084582 EP2018084582W WO2019115623A1 WO 2019115623 A1 WO2019115623 A1 WO 2019115623A1 EP 2018084582 W EP2018084582 W EP 2018084582W WO 2019115623 A1 WO2019115623 A1 WO 2019115623A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
image sensor
digital
value
read
Prior art date
Application number
PCT/EP2018/084582
Other languages
English (en)
French (fr)
Inventor
DR. Hanno ACKERMANN
Holger Meuel
PROF. DR. Bodo ROSENHAHN
PROF. Jörn OSTERMANN
Original Assignee
Gottfried Wilhelm Leibniz Universität Hannover
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gottfried Wilhelm Leibniz Universität Hannover filed Critical Gottfried Wilhelm Leibniz Universität Hannover
Priority to EP18819308.0A priority Critical patent/EP3725069A1/de
Publication of WO2019115623A1 publication Critical patent/WO2019115623A1/de

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/587—Control of the dynamic range involving two or more exposures acquired sequentially, e.g. using the combination of odd and even image fields
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/47—Image sensors with pixel address output; Event-driven image sensors; Selection of pixels to be read out based on image data

Definitions

  • the invention relates to a method and a device for recording a digital image by means of a recording device, wherein an image sensor is exposed and a digital image is then determined in response to the exposure of the image sensor.
  • Digital photography has largely replaced analogue photography.
  • an image sensor consisting of one or more sensor pixels is exposed, and based on the exposure of the individual sensor pixels in response to the incident light, an electric charge is accumulated proportional to the amount of incident light and of the incident light Sensor recorded Lich tes is.
  • the accumulated electrical charge is read at the end of the exposure time, the amount of electrical charge being assigned a quantified value, which then later represents the corresponding pixel value at the corresponding image position.
  • the value that corresponds to the accumulated charge at the respective image position is usually specified digitally and generally has a predetermined value range, which can assume values between 0 and 255 for an 8-bit depth. It also sensors with 12 to 14-bit depth and rarely even with special cameras up to 16-bit depth are known.
  • the dynamic range is defined as the quotient between the value of the brightest area of the scene and the darkest area of the scene. The larger the dynamic range is, the more difficult a reasonable exposure of the image becomes, if it is neither overexposed nor underpainted. If a scene has a high dynamic range, a short exposure time displays the bright areas of the scene to be photographed well, while leaving the dark areas underexposed, depending on the dynamic range. The other way around is when the exposure time is set to be very long, enough to capture the dark areas of the scene, while overexposing the bright areas.
  • HDR High Dynamic Range
  • an imaging system which includes an image sensor having an array of dual gain pixels.
  • Each pixel can be driven by an improved triple-read method and an improved quadruple-read method, so that all signals can be read in a high-gain configuration in order to prevent an electrical offset in the signal strengths.
  • dual-gain pixels with two read-out paths represent a modification of the hardware, so that already existing recording devices can not be retrofitted accordingly.
  • the object is achieved by the method according to claim 1 and theretevorrich- device according to claim 12 according to the invention.
  • Image sensor of the recording device over a predetermined exposure period is illuminated.
  • the image sensor pixels contained in the digital image sensor are also exposed, each of these image sensor pixels representing one pixel or a group of pixels.
  • electrical signals are read out from the individual image sensor pixels by means of an electronic readout circuit, the electrical signals of each individual image sensor pixel representing in each case an accumulated charge in response to the incident light of the respective image sensor pixel.
  • a digital pixel value is now determined for each image sensor pixel by means of an electronic arithmetic unit, the respective pixel value corresponding to the accumulated charge represented by the read-out electrical signal of the respective image sensor pixel.
  • a digital image is generated based on the determined digital pixel values by means of the electronic arithmetic unit and, if necessary, stored in a digital data memory.
  • the pixel values may be a representation of brightness and / or color values.
  • this generic method for recording a digital image is modified and supplemented in such a way that the electrical signals from at least part of the image sensor pixels are read out several times during the exposure period at discrete readout times within the exposure period using the electronic readout circuit
  • the respective image sensor pixel is only read once by means of the readout circuit, as is conventionally the case at the end of the exposure period according to the prior art.
  • a digital pixel intermediate value based on the read-out signal of the respective image sensor pixel is then determined for each of the image sensor pixels read several times at the respective discrete readout times, wherein this pixel intermediate value of the accumulated charge represented by the read-out electrical signal of the respective image sensor pixel is the respective discrete one Readout time corresponds.
  • image sensor pixels After readout by means of the electronic read-out circuit, image sensor pixels are not reset or resetted, so that at the end of the exposure period the entire accumulated charge is contained in the respective image sensor pixels. If, for example, all image sensor pixels of the digital image sensor are read out at each readout time within the exposure period using the electronic readout circuit and the pixel intermediate values are determined accordingly, there is an intermediate image of the recorded scene at each discrete readout time within the exposure period, that at the respective discrete readout time is defined by the pixel intermediate values.
  • Image sensor pixels are read out. It is conceivable and also advantageous if each image sensor pixel has its own discrete readout times, which may be at least partially different from each other. Thus, it may be that a first group of image sensor pixels has a first discrete readout time, which differs from the first discrete readout time of a second group of image sensor pixels. In other words, each image sensor pixel or groups of image sensor pixels may have their own individual discrete readout times.
  • Each relevant image sensor pixel is thus read out a plurality of times within the exposure period, once at each image sensor pixel, for the discrete readout time, so that at each discrete readout time point a respective pixel intermediate value can be determined so that a plurality of pixel intermediate values result for the relevant image sensor pixel over the entire exposure period.
  • a digital pixel value with respect to the end of the exposure period is estimated as a function of the determined digital pixel intermediate values at the respective readout times when the accumulated charge of the respective multiple read sensor pixel has reached a charge saturation at the end of the exposure period. If the accumulated charge of the respective image sensor pixel read a plurality of times has reached its charge saturation over the exposure period, then a digital pixel value based thereon would have reached a predefined value maximum.
  • the later digital image would be overexposed in these areas.
  • the value maximum of the charge to be accumulated of the respective image sensor pixel is increased, specifically beyond the physical charge saturation, which also increases a possible value maximum with respect to the pixel values to be determined.
  • a pixel value based on the accumulated charge of an image sensor pixel can be determined as if the image sensor pixel had no charge saturation with respect to the accumulated charge during the exposure time.
  • the digital image is generated, whereby the quotient between individual image values and possibly even all digital pixel values is estimated the brightest pixel value and the darkest pixel value compared to conventional digital images is increased and thus overall the dynamic range is increased.
  • the image sensor only contains a single image sensor pixel, which may be the case, for example, in scanning tunneling microscopy. Therefore, all statements are to be understood as meaning that only a single image sensor pixel is present whose natural charge saturation has been computationally increased.
  • Image sensors are used to record a corresponding HDR digital image according to the teachings of the present invention can.
  • an extrapolation with respect to the end of the exposure period based on the determined digital pixel intermediate values is understood in particular, although other methods including noise suppression methods may also be used.
  • the extrapolation of a pixel value for an image sensor pixel determines the pixel value that would result at the end of the exposure time if the respective image sensor pixel had no physical charge saturation.
  • the individual intermediate pixel values, which were determined at the respectively discrete readout time points based on the charge accumulated at the respective readout time, are used in order to be able to determine a corresponding extrapolated digital pixel value outside the actual value range.
  • the pixels are read out individually or simultaneously or that the pixels are read line by line in order to determine the individual values.
  • the longest possible exposure period is selected, whereby many of the image sensor pixels are overexposed in the conventional sense and reach their charge saturation, but due to the present invention exactly these image sensor pixels are corrected with correspondingly extrapolated pixel values. It is therefore particularly advantageous if the image sensor pixels are exposed without interruption over the entire exposure period in order to achieve the necessary intermediate samples for extrapolating the pixel values.
  • the exposure period is chosen such that more than 25%, preferably more than 50%, of the exposed one
  • Image sensor pixels have reached a predetermined charge threshold.
  • This predetermined charge threshold may be, for example, the charge saturation, i. the exposure period is selected so that at 25% or 50% of the image sensor pixels the accumulated charge reaches the maximum or the charge saturation and thus a pixel value determined at the end of the exposure period has reached its predetermined maximum value.
  • the exposure period is selected for a sufficiently long time to ensure that a correspondingly large dynamic range is created.
  • the digital image is then generated on the basis of the extrapolated pixel values as well as the pixel values determined at the end of the exposure period when the relevant image sensor pixel has not reached the charge maximum, so that the digital image results both from extrapolated pixel values and at the end of the exposure period determined pixel values can exist. Consequently, the charge maximum corresponds to an original value maximum of the pixel values, wherein an extrapolated digital pixel value is greater than or equal to the original value maximum and thus increases the original value maximum, theoretically arbitrary.
  • a pixel noise reduction is carried out, wherein for the pixel noise reduction of at least one pixel intermediate value at a readout time other pixel intermediate values of the same readout time are used.
  • pixel noise reduction is advantageously performed at each of the readout times for each pixel intermediate value determined at this readout timing so as to reduce errors in determining the pixel intermediate values.
  • the pixel noise reduction is advantageously carried out for all pixel intermediate values of at least one readout time, so as to generate a noise-reduced intermediate image.
  • pixel noise reduction of at least one intermediate pixel value at a readout time other pixel intermediate values are used whose image sensor pixels are different from the image sensor pixel of the intermediate value and, for example, lie in a predefined area around the image sensor pixel of the intermediate value the pixel noise reduction is performed.
  • all other intermediate pixel values are used to reduce the noise of a pixel intermediate value.
  • the other pixel intermediate values may belong to the same readout time or be interpolated values from temporally adjacent readout times.
  • Image sensor pixel performed a time-related pixel noise reduction, wherein for the time-related pixel noise reduction of a pixel intermediate value of the at least one image sensor pixel or of the estimated digital pixel value is used for the determined pixel intermediate values of the at least one image sensor pixel.
  • a recording device for recording a digital image is also proposed according to the invention, wherein the recording device has a digital image sensor which has at least one image sensor pixel.
  • the recording device furthermore has a readout circuit for reading out an electrical signal of the at least one image sensor pixel, wherein the electrical signal in each case represents an accumulated charge in response to incident light of the respective image sensor pixel.
  • the recording device further has a computing unit for determining at least one digital pixel value based on the at least one read-out electrical signal and for generating a digital image based on the at least one determined digital pixel value.
  • the receiving device in particular the electronic calculating unit, is designed to carry out the above-mentioned method.
  • the recording device has an image sensor having a plurality of image sensor pixels, wherein one or more electrical signals can be read out for each image sensor pixel. For each image sensor pixel, a digital pixel value can now be determined based on the electrical signals.
  • Figure 1 Schematic representation of a recording device for
  • FIG. 1 shows a recording device 10 with which a scene 11 to be recorded can be recorded digitally and a corresponding digital image can be generated.
  • the receiving device 10 usually has a housing 12 which has on one of the sides of the housing 12 an exposure optics 13 or another device with which a digital image sensor 14 can be exposed.
  • the exposure optics 13 are designed such that they open as required and close again after a predetermined exposure time or an exposure period ,e, during which the light of the scene 11 falls on the digital image sensor 14 during the opening of the exposure optics 13. After closing the exposure optics 13, the interior of the recording device 10 is completely darkened again, so that the digital image sensor is not accidentally exposed.
  • the digital image sensor 14 has a plurality of image sensor pixels 15, which for example in the manner of a photodiode in response to the incident light during the exposure time ⁇ e accumulate an electrical charge in a charge storage.
  • Each of these image sensor pixels 15 in this case has such a charge storage, wherein, at the end of the exposure time, a pixel value, which later corresponds to the corresponding pixel in the generated digital image based on the accumulated charge, is correlated with the accumulated charge in the respective image sensor pixel 15.
  • the accumulated charges of the individual image sensor pixels 15 can be read out and correspondingly quantified, so that an electronic computing unit 17 can then be based thereon
  • an electronic computing unit 17 For each of the read-out image sensor pixels 15 can determine a corresponding pixel value. In the simplest case, such a pixel value corresponds to the quantified accumulated charge of the read-out image sensor pixel.
  • the image sensor pixels 15 are not, as known from the prior art, only once at the end of the exposure time ⁇ e by the electronic readout circuit
  • each of the respective image sensor pixels 15 is repeatedly read out over the exposure period ⁇ e, so that a plurality of pixel values of the respective image sensor pixel can be determined for each of these image sensor pixels 15 within the exposure period ⁇ e, which coincides with the charge accumulated at the read-out time correlate to respective image sensor pixels 15.
  • These pixel values are called pixel intermediate values because they represent a pixel value within the exposure period.
  • a pixel value for the end of the exposure period is then extrapolated based on the respective pixel intermediate values if the respective image sensor pixel 15 has reached its charge maximum or charge saturation before reaching the end of the exposure period.
  • the digital image is then generated and stored in the digital memory 18.
  • the lower diagram shows the operating principle of the present invention.
  • the exposure period is subdivided into five time periods in each case, with the respective image sensor pixels using the electronic readout circuit at the discrete points in time ti-U and ⁇ e
  • the discrete times ti, t2, t3 and U there is in each case still a valid value with respect to the accumulator
  • the charge of the individual readout times is determined, whereby the sensor pixel would run into its charge saturation Vmax between U and the end of the exposure period ⁇ e.
  • the value at time ⁇ e is therefore no longer measurable.
  • pixel values vi-v 4 which are respectively read out at the discrete readout times t.sub.i-U, which show the value development during the exposure of the respective sensor pixel, are therefore present.
  • the value VE at the time of the end of the exposure period are extrapolated ⁇ e now, this value VE above the possible charge maximum v ma x and thus would be physically not measurable.
  • the intermediate values vi-v 4 previously determined in the respective intermediate steps, it is nevertheless possible to extrapolate such a value VE at the end of the exposure period ⁇ e.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Aufnehmen eines HDR-Digitalbildes mittels einer Aufnahmevorrichtung, wobei die einzelnen Bildsensorpixel eines digitalen Bildsensors während der Belichtungszeit mehrfach ausgelesen und entsprechende Zwischenwerte ermittelt werden, wobei dann basierend auf den ermittelten Zwischenwerten ein extrapolierter Pixelwert zum Zeitpunkt des Endes des Belichtungszeitraumes ermittelt wird.

Description

Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum Aufnehmen eines Digi- talbildes mittels einer Aufnahmevorrichtung, wobei ein Bildsensor belichtet und in Re- aktion auf die Belichtung des Bildsensors dann ein Digitalbild ermittelt wird.
Die Digitalfotografie hat weitestgehend die analoge Fotografie abgelöst. Bei der Digi- talfotografie wird ein Bildsensor, der aus einem oder mehreren Sensorpixeln besteht, belichtet, wobei basierend auf der Belichtung der einzelnen Sensorpixel als Reaktion auf das einfallende Licht eine elektrische Ladung akkumuliert wird, die proportional zu der Menge des einfallenden Lichtes und von dem Sensor aufgenommenen Lich tes ist. Die akkumulierte elektrische Ladung wird am Ende der Belichtungszeit ausge- lesen, wobei die Menge der elektrischen Ladung einem quantifizierten Wert zugeord- net wird, der dann später den entsprechenden Pixelwert an der entsprechenden Bild- position repräsentiert. Der Wert, der der akkumulierten Ladung an der jeweiligen Bildposition entspricht, wird dabei meist digital angegeben und hat in der Regel einen vorgegebenen Wertbereich, der bei einer 8-Bit Tiefe Werte zwischen 0 und 255 an- nehmen kann. Dabei sind auch Sensoren mit 12 bis 14-Bit Tiefe und selten sogar bei Spezialkameras bis zu 16-Bit Tiefe bekannt.
Ein Problem hierbei besteht bei zu fotografierenden Szenen, die eine sehr starke un- terschiedliche Ausleuchtung haben und somit einen hohen Dynamikumfang (eng- lisch: high dynamic ränge) besitzen. Der Dynamikumfang wird dabei definiert als Quotient zwischen dem Wert des hellsten Bereiches der Szene und dem dunkelsten Bereich der Szene. Je größer der Dynamikumfang dabei ist, desto schwieriger wird eine vernünftige Belichtung des Bildes, wenn es weder überbelichtet noch unterbe- lichtet sein soll. Weist eine Szene einen hohen Dynamikumfang auf, so werden durch eine kurze Be- lichtungszeit die hellen Bereiche der zu fotografierenden Szene gut abgebildet, wäh- rend jedoch die dunklen Bereiche je nach Dynamikumfang unterbelichtet verbleiben. Andersherum verhält es sich, wenn die Belichtungszeit sehr lang gewählt wird, wodurch die dunklen Bereiche der Szene ausreichend aufgenommen werden, wäh- rend jedoch die hellen Bereiche überbelichtet werden. Der Grund hierfür liegt darin, dass bei einer zu langen Belichtungszeit die die hellen Bereiche repräsentierenden Sensorpixel sehr stark belichtet werden, wodurch die durch die Sensorpixel akkumu- lierte Ladung vor Ende der Belichtungszeit ihre Ladungssättigung (Ladungsmaxi- mum) erreichen, während die dunklen Bereiche noch nicht ausreichend für eine ver- nünftige Fotografie belichtet wurden.
Um Digitalbilder mit einem hohen Dynamikumfang (HDR: High Dynamic Range) zu erzeugen, ist es aus der Praxis beispielsweise bekannt, in einer kurzen Abfolge meh- rere Bilder derselben Szene aufzunehmen, wobei jeweils die Belichtungszeit variiert. Anschließend werden über- und unterbelichtete Bereiche durch die entsprechenden Bereiche aus den anderen Bildern ersetzt, wodurch eine optimale Aufnahme in Be- zug auf die Belichtung des Bildes erzielt werden kann.
Allerdings hat dies in der Praxis einige Nachteile. So muss für die Aufnahme sicher- gestellt sein, dass sich während der Aufnahme die Szene an sich nicht verändert, da ansonsten einzelne Bilder entstehen, die sich in ihrem Inhalt unterscheiden. Dies kann beim Zusammensetzen der Bilder zu einem HDR-Digitalbild zu Artefakten und Ghosting-Effekten führen. Sich sehr schnell verändernde Szenen, wie beispielsweise Aufnahmen von Sportveranstaltungen, können so ggf. unmöglich werden. Außerdem bedarf es bei dieser Art der Erzeugung eines HDR-Digitalbildes einer nicht unerhebli- chen Rechenleistung, um die einzelnen Bilder zu analysieren und zu einem Bild zu- sammenzusetzen und dabei ggf. auch Veränderungen herauszurechnen.
Ein weiteres Problem besteht darin, dass nicht beliebig viele Bilder mithilfe herkömm- licher Aufnahmevorrichtungen hintereinander aufgenommen werden können, was grundsätzlich die Qualität und den Dynamikumfang verbessern würden. Herkömmli- che Aufnahmevorrichtungen, wie beispielsweise Digitalkameras, limitieren bei der Übertragungsrate des erstellten Digitalbildes von dem internen Chip auf den digitalen Datenspeicher. Daher ist dieses Verfahren für bekannte Digitalkameras nicht ohne weiteres skalierbar.
Aus der DE 10 2016 218 843 A1 ist ein Bilderzeugungssystem bekannt, das einen Bildsensor beinhaltet, der eine Anordnung von Dual-Gain-Pixeln aufweist. Jedes Pi- xel kann anhand eines verbesserten Dreifach-Leseverfahrens und eines verbesser- ten Vierfach-Leseverfahrens angesteuert werden, so dass alle Signale in einer High- Gain-Konfiguration gelesen werden können, um einen elektrischen Versatz in den Signalstärken zu verhindern. Allerdings stellen Dual-Gain-Pixel mit zwei Auslesepfa- den eine Modifikation der Hardware dar, so dass bereits bestehende Aufnahmevor- richtungen nicht entsprechend ohne weiteres nachgerüstet werden können.
Aus der EP 2 453 646 A2 ist eine Bildaufnahmevorrichtung bekannt, bei der ein elektronischer Shutter gesteuert wird, um die Belichtungszeit und die Belichtung an sich zu steuern.
Mit der weiten Verbreitung von Digitalkameras auch im Endkundenbereich besteht ein Bedürfnis auch im privaten Bereich Digitalbilder mit einer immer besseren Quali- tät zu erzeugen. Dabei besteht das Bedürfnis, auch qualitative HDR-Digitalbilder zu erzeugen, was nach derzeitigem Stand der Technik nur durch eine komplizierte Hardwaremodifikation der digitalen Bildsensoren möglich ist. Somit bleibt bereits be- stehenden Kameras eine derartige Verbesserung in der Regel verwehrt.
Es ist daher Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren und eine verbesserte Vorrichtung zum Aufnehmen eines Digitalbildes mit einem insbe- sondere hohen Dynamikumfang anzugeben, mit dem sich auch dann HDR-Digitalbil- der erzeugen lassen, wenn weder der bildgebende Sensor dafür geeignet ist noch die Aufnahmevorrichtung selber zur entsprechenden Fusion mehrerer aufgenomme- ner Digitalbilder ausgebildet ist. Die Aufgabe wird mit dem Verfahren gemäß Anspruch 1 sowie der Aufnahmevorrich- tung gemäß Anspruch 12 erfindungsgemäß gelöst.
Gemäß Anspruch 1 wird ein Verfahren zum Aufnehmen eines Digitalbildes mittels ei- ner Aufnahmevorrichtung vorgeschlagen, wobei gattungsgemäß ein digitaler
Bildsensor der Aufnahmevorrichtung über einen vorgegebenen Belichtungszeitraum hinweg belichtet wird. Durch das Belichten des digitalen Bildsensors werden die in dem digitalen Bildsensor enthaltenen Bildsensorpixel ebenfalls belichtet, wobei jedes dieser Bildsensorpixel einen Bildpunkt oder eine Gruppe von Bildpunkten repräsen- tiert. Am Ende des Belichtungszeitraumes werden nun von den einzelnen Bildsensor- pixeln elektrische Signale mittels einer elektronischen Ausleseschaltung ausgelesen, wobei die elektrischen Signale jedes einzelnen Bildsensorpixels jeweils eine akkumu- lierte Ladung als Reaktion auf das einfallende Licht des jeweiligen Bildsensorpixels repräsentieren. Basierend auf diesen elektrischen Signalen wird nun für jeden Bildsensorpixel ein digitaler Pixelwert mittels einer elektronischen Recheneinheit er- mittelt, wobei der jeweilige Pixelwert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels repräsentierten akkumulierten Ladung entspricht. An- schließend wird ein Digitalbild basierend auf den ermittelten digitalen Pixelwerten mittels der elektronischen Recheneinheit generiert und ggf. in einen digitalen Daten- speicher hinterlegt. Die Pixelwerte können eine Repräsentation von Helligkeits- und/oder Farbwerten sein.
Erfindungsgemäß wird dieses gattungsgemäße Verfahren zum Aufnehmen eines Di- gitalbildes dahingehend verändert und ergänzt, dass mithilfe der elektronischen Aus- leseschaltung die elektrischen Signale von zumindest einem Teil der Bildsensorpixel mehrfach während des Belichtungszeitraumes an diskreten Auslesezeitpunkten in- nerhalb des Belichtungszeitraumes ausgelesen werden, wobei hierfür die Belichtung des Bildsensorpixels gerade nicht unterbrochen werden soll. Vielmehr wird innerhalb des Belichtungszeitraumes ein Bildsensorpixel mehrfach ausgelesen, wobei das Auslesen an jeweils diskreten Auslesezeitpunkten innerhalb des Belichtungszeitrau- mes erfolgt. An dem jeweiligen diskreten Auslesezeitpunkt innerhalb des Belich- tungszeitraumes wird dabei das jeweilige Bildsensorpixel mithilfe der Ausleseschal- tung allerdings nur einmal ausgelesen, so wie dies herkömmlicherweise am Ende des Belichtungszeitraumes gemäß dem Stand der Technik standardmäßig erfolgt.
Für jeden der mehrfach ausgelesenen Bildsensorpixel an den jeweils diskreten Aus- lesezeitpunkten wird nun ein digitaler Pixelzwischenwert basierend auf dem ausgele- senen Signal des jeweiligen Bildsensorpixels ermittelt, wobei dieser Pixelzwischen- wert der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels repräsentierten akkumulierten Ladung dem jeweiligen diskreten Auslesezeitpunkt entspricht. Die bis zum Auslesezeitpunkt akkumulierte Ladung des jeweiligen
Bildsensorpixels wird dabei nach dem Auslesen mittels der elektronischen Auslese- schaltung nicht zurückgesetzt bzw. resetted, so dass am Ende des Belichtungszeit- raumes die gesamte akkumulierte Ladung in den jeweiligen Bildsensorpixeln enthal- ten ist. Werden beispielsweise an jedem Auslesezeitpunkt innerhalb des Belichtungs- zeitraumes alle Bildsensorpixel des digitalen Bildsensors mithilfe der elektronischen Ausleseschaltung ausgelesen und entsprechend die Pixelzwischenwerte ermittelt, so liegt zu jedem diskreten Auslesezeitpunkt innerhalb des Belichtungszeitraumes ein Zwischenbild der aufgenommenen Szene vor, das an dem jeweiligen diskreten Aus- lesezeitpunkt durch die Pixelzwischenwerte definiert wird.
Dabei muss nicht zwingend zu jedem diskreten Auslesezeitpunkt auch jeder
Bildsensorpixel ausgelesen werden. Es ist denkbar und auch vorteilhaft, wenn jeder Bildsensorpixel seine eigenen diskreten Auslesezeitpunkte hat, die zumindest teil- weise voneinander verschieden sein können. So kann es sein, dass eine erste Gruppe von Bildsensorpixeln einen ersten diskreten Auslesezeitpunkt hat, der sich von dem ersten diskreten Auslesezeitpunkt einer zweiten Gruppe von Bildsensorpi- xeln unterscheidet. Mit anderen Worten, jeder Bildsensorpixel oder Gruppen von Bildsensorpixeln können eigene, individuelle diskrete Auslesezeitpunkte aufweisen.
Jeder betreffende Bildsensorpixel wird somit innerhalb des Belichtungszeitraumes mehrfach ausgelesen, und zwar einmal an jedem, den jeweiligen Bildsensorpixel be- treffendendiskreten Auslesezeitpunkt, so dass an jedem diskreten Auslesezeitpunkt ein jeweiliger Pixelzwischenwert ermittelbar ist, so dass sich über den gesamten Be- lichtungszeitraum hinweg für den betreffenden Bildsensorpixel mehrere Pixelzwi- schenwerte ergeben.
Für jeden mehrfach ausgelesenen Bildsensorpixel wird nun ein digitaler Pixelwert in Bezug auf das Ende des Belichtungszeitraumes in Abhängigkeit von den ermittelten digitalen Pixelzwischenwerten an den jeweiligen Auslesezeitpunkten geschätzt, wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Sensorpixels am Ende des Belichtungszeitraumes eine Ladungssättigung erreicht hat. Hat die akku- mulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels über den Belichtungszeitraum hinweg seine Ladungssättigung erreicht, so würde ein hierauf basierender digitaler Pixelwert ein vorgegebenes Wertemaximum erreicht haben.
Sind großflächig mehrere Bereiche der aufgenommenen Szene hiervon betroffen, würde das spätere Digitalbild in diesen Bereichen überbelichtet sein. Durch das Schätzen wird jedoch das Wertemaximum der zu akkumulierenden Ladung des je- weiligen Bildsensorpixels vergrößert, und zwar über die physikalische Ladungssätti- gung hinaus, wodurch auch ein mögliches Wertemaximum bezüglich der zu ermit- telnden Pixelwerte vergrößert wird. Es kann demzufolge ein Pixelwert ermittelt wer- den, der auf der akkumulierten Ladung eines Bildsensorpixels basiert, so als hätte der Bildsensorpixel physikalisch keine Ladungssättigung bezüglich der akkumulierba- ren Ladung während der Belichtungszeit.
Basierend auf den geschätzten digitalen Pixelwerten oder den normal ermittelten Pi- xelwerten, wenn der jeweilige Bildsensorpixel nicht mehrfach ausgelesen wurde oder seine Ladungssättigung nicht erreicht hat, wird dann das Digitalbild generiert, wobei durch das Schätzen einzelner oder ggf. sogar aller digitalen Pixelwerte der Quotient zwischen dem hellsten Pixelwert und dem dunkelsten Pixelwert gegenüber her- kömmlichen Digitalbildern vergrößert wird und somit insgesamt der Dynamikumfang erhöht ist.
Dabei ist es für Spezialanwendungen denkbar, dass der Bildsensor lediglich nur ein einziges Bildsensorpixel enthält, was bspw. bei der Rastertunnelmikroskopie der Fall sein kann. Daher sind sämtliche Ausführungen auch dahingehend zu verstehen, dass nur ein einziger Bildsensorpixel vorhanden ist, dessen natürliche Ladungssätti- gung rechnerisch vergrößert wurde.
Mit der vorliegenden Erfindung gelingt es, auch bei herkömmlichen Bildsensorpixeln, die beispielsweise nur über einen einzigen Ladungsspeicher sowie über eine einzige Ausleseschaltung pro Sensorpixel verfügen, dennoch ein HDR-Digitalbild aufzuneh- men, ohne dass der digitale Bildsensor hierfür verändert werden muss, vielmehr kann auf bestehende und zum Zeitpunkt der Anmeldung erhältliche digitale
Bildsensoren zurückgegriffen werden, um ein entsprechendes HDR-Digitalbild nach der Lehre der vorliegenden Erfindung aufnehmen zu können.
Unter Schätzen eines digitalen Pixelwertes im Sinne der vorliegenden Erfindung wird insbesondere eine Extrapolation in Bezug auf das Ende des Belichtungszeitraumes basierend auf den ermittelten digitalen Pixelzwischenwerten verstanden, wobei auch weitere Verfahren einschließlich Rauschunterdrückungsverfahren Anwendung finden können. Im einfachsten Fall wird beim Extrapolieren eines Pixelwertes für einen Bildsensorpixel derjenige Pixelwert ermittelt, der sich am Ende der Belichtungszeit ergeben würde, wenn der jeweilige Bildsensorpixel keine physikalische Ladungssätti- gung hätte. Hierfür werden die einzelnen Pixelzwischenwerte, die an den jeweils dis- kreten Auslesezeitpunkten basierend auf der zu dem jeweiligen Auslesezeitpunkt ak- kumulierten Ladung ermittelt wurden, herangezogen, um einen entsprechenden extrapolierten digitalen Pixelwert außerhalb des eigentlichen Wertebereiches ermit- teln zu können.
Dabei ist es denkbar, dass die Pixel einzeln bzw. gleichzeitig ausgelesen werden o- der dass die Pixel zeilenweise ausgelesen werden, um die einzelnen Werte zu ermit- teln.
Es ist hierbei vorteilhaft, wenn ein möglichst langer Belichtungszeitraum gewählt wird, wodurch zwar viele der Bildsensorpixel im herkömmlichen Sinne überbelichtet werden und ihre Ladungssättigung erreichen, wobei aufgrund der vorliegenden Erfin- dung jedoch genau diese Bildsensorpixel mit entsprechend extrapolierten Pixelwer- ten korrigiert werden. Es ist daher besonders vorteilhaft, wenn die Bildsensorpixel ohne Unterbrechung über den gesamten Belichtungszeitraum hinweg belichtet wer- den um so die notwendigen Zwischensamples für das Extrapolieren der Pixelwerte zu erreichen.
Es ist darüber hinaus ebenfalls vorteilhaft, wenn der Belichtungszeitraum so gewählt wird, dass mehr als 25 %, vorzugsweise bei mehr als 50 %, der belichteten
Bildsensorpixel einen vorgegebenen Ladungsschwellenwert erreicht haben. Dieser vorgegebene Ladungsschwellenwert kann bspw. die Ladungssättigung sein, d.h. der Belichtungszeitraum wird so gewählt, dass bei 25% bzw. 50% der Bildsensorpixel die akkumulierte Ladung das Maximum bzw. die Ladungssättigung erreicht und somit ein am Ende des Belichtungszeitraumes ermittelter Pixelwert sein vorgegebenes Wer- temaximum erreicht hat. Dies könnte beispielsweise mithilfe einer elektronischen Re- cheneinheit vor Aufnahme der zu fotografierenden Szene ermittelt werden, indem beispielsweise ein Testfoto geschossen und die entsprechenden Lichtverhältnisse anhand der Belichtungscharakteristik des aufgenommenen Bildes ermittelt werden. Somit kann sichergestellt werden, dass der Belichtungszeitraum hinreichend lange gewählt wird, um so auch sicherzustellen, dass ein entsprechend großer Dynamik- umfang entsteht. Es ist dabei allerdings nicht unbedingt vorteilhaft, eine Belichtungs- zeit zu wählen, die dazu führt, dass nahezu alle Bildsensorpixel überbelichtet wer- den, d.h. ihr Ladungsmaximum erreichen, da durch das Extrapolieren auch ein Feh- ler entsteht, der sich eben in einer Abweichung zum Original niederschlägt und der umso größer ist, je weiter der extrapolierte Pixelwert von seinem eigentlichen vorge- gebenen Wertemaximum, der dem Ladungsmaximum entspricht, entfernt liegt. Denk- bar ist aber auch, dass mit Hilfe von Sensoren, bspw. Helligkeitsmessern, eine Mes- sung bzw. Analyse der Lichtverhältnisse durchgeführt wird, so dass auch auf ein Testfoto verzichtet werden kann.
Wie bereits erwähnt, wird das Digitalbild dann basierend auf den extrapolierten Pixel- werten sowie den am Ende des Belichtungszeitraumes ermittelten Pixelwerten, wenn der betreffende Bildsensorpixel das Ladungsmaximum nicht erreicht hat, generiert, so dass das Digitalbild sowohl aus extrapolierten Pixelwerten als auch am Ende des Belichtungszeitraumes ermittelten Pixelwerten bestehen kann. Demzufolge entspricht das Ladungsmaximum einem ursprünglichen Wertemaximum der Pixelwerte, wobei ein extrapolierter digitaler Pixelwert größer oder gleich dem ur- sprünglichen Wertemaximum ist und somit das ursprüngliche Wertemaximum, theo- retisch beliebig, vergrößert.
In einer weiteren vorteilhaften Ausführungsform wird eine Pixel-Rauschreduzierung durchgeführt, wobei für die Pixel-Rauschreduzierung zumindest eines Pixelzwischen- wertes an einem Auslesezeitpunkt andere Pixelzwischenwerte desselben Auslese- zeitpunktes herangezogen werden. Demzufolge wird eine Pixel-Rauschreduzierung vorteilhafterweise an jedem der Auslesezeitpunkte für jeden an diesem Auslesezeit- punkt ermittelten Pixelzwischenwert durchgeführt, um so Fehler bei der Ermittlung der Pixel-Zwischenwerte zu reduzieren.
Dabei wird die Pixel-Rauschreduzierung vorteilhafterweise für alle Pixelzwischen- werte mindestens eines Auslesezeitpunktes durchgeführt, um so ein rauschreduzier- tes Zwischenbild zu generieren.
In einer weiteren vorteilhaften Ausführungsform hierzu werden für die Pixel- Rauschreduzierung zumindest eines Pixelzwischenwertes an einem Auslesezeit- punkt andere Pixelzwischenwerte herangezogen, deren Bildsensorpixel von dem Bildsensorpixel des Zwischenwertes verschieden sind und bspw. in einem vorgege- benen Bereich um den Bildsensorpixel des Zwischenwertes liegen, für den die Pixel- rauschreduzierung durchgeführt wird. Denkbar ist aber auch, dass zur Rauschredu- zierung eines Pixelzwischenwertes alle anderen Pixelzwischenwerte herangezogen werden.
Die anderen Pixelzwischenwerte können zu demselben Auslesezeitpunkt gehören o- der interpolierte Werte aus zeitlich benachbarten Auslesezeitpunkten sein.
In einer weiteren vorteilhaften Ausführungsform wird für mindestens einen
Bildsensorpixel eine zeitbezogene Pixel-Rauschreduzierung durchgeführt, wobei für die zeitbezogene Pixel-Rauschreduzierung eines Pixelzwischenwertes des mindes- tens einen Bildsensorpixel oder des geschätzten digitalen Pixelwertes die ermittelten Pixelzwischenwerte des mindestens einen Bildsensorpixel herangezogen werden.
Erfindungsgemäß wird im Übrigen auch eine Aufnahmevorrichtung zum Aufnehmen eines Digitalbildes vorgeschlagen, wobei die Aufnahmevorrichtung einen digitalen Bildsensor hat, der mindestens einen Bildsensorpixel aufweist. Die Aufnahmevorrich- tung weist des Weiteren eine Ausleseschaltung zum Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels auf, wobei das elektrische Signal je- weils eine akkumulierte Ladung als Reaktion auf einfallendes Licht des jeweiligen Bildsensorpixels repräsentiert. Die Aufnahmevorrichtung weist des Weiteren eine Re- cheneinheit zum Ermitteln mindestens eines digitalen Pixelwertes basierend auf dem mindestens einen ausgelesenen elektrischen Signal und zum Generieren eines Digi talbildes basierend auf dem mindestens einen ermittelten digitalen Pixelwert auf. Er- findungsgemäß ist die Aufnahmevorrichtung, insbesondere die elektronische Re- cheneinheit, zur Durchführung des vorstehend genannten Verfahrens ausgebildet.
Vorteilhafterweise weist die Aufnahmevorrichtung einen Bildsensor auf, der eine Mehrzahl von Bildsensorpixel hat, wobei für jeden Bildsensorpixel ein oder mehrere elektrische Signale ausgelesen werden können. Für jeden Bildsensorpixel kann nun ein digitaler Pixelwert basierend auf den elektrischen Signalen ermittelt werden.
So ist es denkbar, dass eine herkömmliche Digitalkamera durch ein Firmwareupdate ohne Änderung an dem digitalen Bildsensor zur Durchführung des vorstehend ge- nannten Verfahrens zur Aufnahme eines HDR-Digitalbildes eingerichtet wird, so dass auch bestehende Digitalkameras bzw. Aufnahmevorrichtungen entsprechend ausge- rüstet werden können. Die Erfindung wird anhand der beigefügten Figuren beispielhaft näher erläutert. Es zeigen:
Figur 1 - Schematische Darstellung einer Aufnahmevorrichtung zum
Aufnehmen von Digitalbildern;
Figur 2 - Darstellung eines Sensorsignalverlaufes mit und ohne
Extrapolation.
Figur 1 zeigt eine Aufnahmevorrichtung 10, mit der eine aufzunehmende Szene 11 digital erfasst und ein entsprechendes Digitalbild generiert werden kann. H ierfür weist die Aufnahmevorrichtung 10 in der Regel ein Gehäuse 12, das an einer der Seiten des Gehäuses 12 eine Belichtungsoptik 13 oder eine anderweitige Vorrich- tung hat, mit der ein digitaler Bildsensor 14 belichtet werden kann. Hierfür ist die Be- lichtungsoptik 13 so ausgebildet, dass sie bedarfsweise öffnet und nach Ablauf einer vorgegebenen Belichtungszeit bzw. eines Belichtungszeitraumes ΐe wieder schließt, wobei während der Öffnung der Belichtungsoptik 13 Licht der Szene 11 auf den digi- talen Bildsensor 14 fällt. Nach dem Schließen der Belichtungsoptik 13 ist das Innere der Aufnahmevorrichtung 10 wieder vollständig abgedunkelt, so dass der digitale Bildsensor nicht versehentlich belichtet wird.
Der digitale Bildsensor 14 weist eine Mehrzahl von Bildsensorpixeln 15 auf, die bei spielsweise nach Art einer Fotodiode als Reaktion auf das einfallende Licht während der Belichtungszeit ΐe eine elektrische Ladung in einem Ladungsspeicher akkumulie- ren. Jedes dieser Bildsensorpixel 15 weist dabei einen solchen Ladungsspeicher auf, wobei am Ende der Belichtungszeit anhand der akkumulierten Ladung ein Pixelwert ermittelt wird, der später dem entsprechenden Pixel in dem generierten Digitalbild entspricht und somit mit der akkumulierten Ladung in dem jeweiligen Bildsensorpixel 15 korreliert.
Mithilfe einer elektronischen Ausleseschaltung 16 können dabei die akkumulierten Ladungen der einzelnen Bildsensorpixel 15 ausgelesen und entsprechend quantifi ziert werden, so dass basierend hierauf dann eine elektronische Recheneinheit 17 für jedes der ausgelesenen Bildsensorpixel 15 einen entsprechenden Pixelwert er- mitteln kann. Im einfachsten Fall entspricht ein solcher Pixelwert der quantifizierten akkumulierten Ladung des ausgelesenen Bildsensorpixels.
Nachdem die Recheneinheit nun sämtliche Pixelwerte der belichteten Bildsensorpixel
15 des digitalen Bildsensors 14 ermittelt hat, kann es basierend hierauf ein entspre- chendes Digitalbild generieren und dieses in einem digitalen Speicher 18 hinterlegen.
Dabei werden die Bildsensorpixel 15 nicht, wie aus dem Stand der Technik bekannt, nur einmal am Ende der Belichtungszeit ΐe durch die elektronische Ausleseschaltung
16 ausgelesen, sondern jedes der betreffenden Bildsensorpixel 15 wird über den Be- lichtungszeitraum ΐe hinweg mehrfach ausgelesen, so dass sich für jeden dieser Bildsensorpixel 15 innerhalb des Belichtungszeitraumes ΐe mehrere Pixelwerte des jeweiligen Bildsensorpixels ermitteln lassen, die mit der zum Auslesezeitpunkt akku- mulierten Ladung des jeweiligen Bildsensorpixels 15 korrelieren. Diese Pixelwerte werden Pixelzwischenwerte genannt, da sie einen Pixelwert innerhalb des Belich- tungszeitraumes darstellen.
Für jedes dieser mehrfach ausgelesenen Bildsensorpixel wird sodann basierend auf den jeweiligen Pixelzwischenwerten ein Pixelwert für das Ende des Belichtungszeit- raumes extrapoliert, wenn der jeweilige Bildsensorpixel 15 vor dem Erreichen des Endes des Belichtungszeitraumes sein Ladungsmaximum bzw. seine Ladungssätti- gung erreicht hat.
Basierend auf diesen extrapolierten Pixelwerten und den jeweils übrigen Pixelwerten zum Ende des Belichtungszeitraumes wird dann das Digitalbild generiert und in dem digitalen Speicher 18 hinterlegt.
Der Vorteil hierbei besteht darin, dass ein hoher Dynamikumfang erreicht werden kann, da nunmehr auch Pixelwerte berechnet werden können, wenn diese aufgrund des Erreichens einer Ladungssättigung herkömmlicherweise gar nicht mehr ermittel- bar wären. Dies wird in Figur 2 noch einmal veranschaulicht. Auf der X-Achse ist dabei die Be- lichtungszeit t gezeigt, während auf der Y-Achse ein aus der akkumulierten Ladung abgeleiteter Wert, beispielsweise ein Pixelwert, abgetragen ist. Bei einem Wert vmax würde dabei der jeweilige Bildsensorpixel sein Ladungsmaximum erreichen, so dass auch bei einer weiteren Belichtung dieses Bildsensorpixels keine weitere Ladung ak- kumuliert werden würde und somit Informationen oberhalb von vmax nicht mehr ermit- telbar sind.
Genau ein solcher Fall ist im oberen Diagramm gezeigt. Während der Belichtung von t = 0 bis zum Ende des Belichtungszeitraumes ΐe steigt die in dem Bildsensorpixel ak- kumulierte Ladung kontinuierlich an, wobei sie vor Ende des Belichtungszeitraumes ΐe ihr Ladungsmaximum Vmax erreicht. Demzufolge kann dieser Bildsensorpixel keine weiteren Informationen bezüglich der Belichtung aufnehmen. Dies geschieht in her- kömmlichen Bildsensoren.
Das untere Diagramm zeigt das Wirkprinzip der vorliegenden Erfindung. Der Belich- tungszeitraum von (ME wird in n, nicht notwendigerweise gleichlange Zeiträume auf- geteilt. Im vorliegenden Ausführungsbeispiel wird der Belichtungszeitraum in jeweils fünf Zeiträume unterteilt, wobei an den diskreten Zeitpunkten ti-U sowie ΐe das jewei- lige Bildsensorpixel mithilfe der elektronischen Ausleseschaltung ausgelesen und ein entsprechender Wert bezüglich der jeweiligen akkumulierten Ladung an dem jeweili gen Auslesezeitpunkt ti-U, ίe ermittelt wird. Wie zu erkennen ist, wird an den diskre- ten Zeitpunkten ti, t2, t3 und U jeweils noch ein gültiger Wert bezüglich der akkumu- lierten Ladung der einzelnen Auslesezeitpunkte ermittelt, wobei zwischen U und dem Ende des Belichtungszeitraumes ΐe das Sensorpixel in seine Ladungssättigung Vmax laufen würde. Der Wert zum Zeitpunkt ΐe ist somit nicht mehr messbar.
Für ein solches Bildsensorpixel liegen somit an den diskreten Auslesezeitpunkten ti- U jeweils ausgelesene Pixelwerte vi-v4 vor, welche die Werteentwicklung während der Belichtung des jeweiligen Sensorpixels zeigen. Durch eine Schätzung bzw. Ext- rapolation dieser auf der akkumulierten Ladung zu den jeweiligen Auslesezeitpunk- ten basierenden Werten vi-v4 kann nun der Wert VE zum Zeitpunkt des Endes des Belichtungszeitraumes ΐe extrapoliert werden, wobei dieser Wert VE oberhalb des möglichen Ladungsmaximums vmax liegt und somit physikalisch nicht messbar wäre. Durch die Extrapolation der zuvor in den jeweiligen Zwischenschritten ermittelten Zwischenwerte vi-v4 lässt sich jedoch dennoch ein solcher Wert VE zum Ende des Belichtungszeitraumes ΐe extrapolieren.
Sei I ein Digitalbild und l(x,y,t) der Wert eines Pixels an der Position (x,y) zum Zeit- punkt t. Es sei weiter angenommen, dass der Wert eines Pixels (x‘,y‘) gemessen am Ende der Belichtungszeit ΐe sein maximales Sensorlimit bzw. Ladungslimit vmax er- reicht hat. Gemäß der vorliegenden Erfindung wird anstelle eines tatsächlichen ge- messenen Wertes v (x‘,y‘,tE) ein Wert v (x‘,y‘,tE) => Vmax berechnet. Alle mit einem„A“ (Dach) gekennzeichneten Werte stellen einen Schätzwert dar, während alle mit einer Tilde gekennzeichneten Werte einen pertubierten Messwert (also einen verrauschten oder abgeschnittenen Messwert) darstellen.
Des Weiteren sei ts = ΪE/S eine kürzere Zeitspanne innerhalb des Belichtungszeitrau- mes ΪE wenn s > 1 ist. Unter der Annahme, dass die Lichtquelle nicht zu hell ist, kann erwartet werden, dass die Berechnung v (x‘,y‘,ts) < Vmax ist, wenn s groß genug ist.
Es wird nun der Wert für jedes Bildsensorpixel bei (x‘,y‘,ts) für jedes s bis zum Errei- chen von ΪE ermittelt, wodurch der Wert v (x‘,y‘,tE) aus den zuvor ermittelten Werten extrapoliert werden kann. Demzufolge kann der nicht messbare Wert v (x‘,y‘,tE) > Vmax eines Bildsensorpixels (x‘,y‘) zum Zeitpunkt ΪE rekonstruiert werden, wenn die zuvor an den einzelnen Zeitpunkten ts ermittelten Werte bekannt sind.
Ohne Berücksichtigung von Rauschen und unter Annahme einer konstanten Illumi nation während der Belichtungszeit ΪE kann der Wert v (x‘,y‘,tE) durch v(x',y',tE) ~ s - v(x',y',ts)
(1 ) approximiert werden. Wird ein zeitliches Rauschen angenommen, so ist der gemessene Wert v(x‘,y‘,ts) des Pixels (x‘, y‘) zum Zeitpunkt ts nicht exakt, so dass die Extrapolation s · v(x‘,y‘,ts) durch ein entsprechendes Rauschen verfälscht ist. Je größer der Wert von s (kürzere Zeiten ts) ist, desto größer wird der Extrapolationsfehler.
Sei k die Anzahl kürzester Belichtungszeiten mit tE/s, mit k = 1 , ..., s ist und kmax der letzte Ausleseschritt, für den v(x‘,y‘,tk) < vmax gilt, dann kann unter der oben genann- ten Gleichung (1 ) definiert werden:
Figure imgf000017_0001
wobei
Figure imgf000017_0002
den Erwartungswert des extrapolierten Pixelwertes v(x‘, y‘) zum
Zeitpunkt ΐe kennzeichnet.
Bezugszeichenliste
10 Aufnahmevorrichtung
1 1 Szene
12 Gehäuse
13 Belichtungsoptik
14 digitaler Bildsensor
15 Bildsensorpixel
16 elektronische Ausleseschaltung
17 Recheneinheit
18 Datenspeicher
tE maximale Belichtungszeit
tl-t4 diskrete Auslesezeitpunkte
V1 -V4 Werte an den diskreten Auslesezeitpunkten
Vmax Ladungsmaximum
VE extrapolierter Pixelwert zum Ende des Belichtungszeitraumes

Claims

Gramm, Lins &. Partner
Gottfried Wilhelm Leibniz Universität Hannover Anwaltsakte:
Welfengarten 1 2674-201 PCT-1 30167 Hannover Datum:
Deutschland 12. Dezember 2018
Patentansprüche
1. Verfahren zum Aufnehmen eines Digitalbildes mittels einer Aufnahmevorrich- tung (10), mit den Schritten:
- Belichten mindestens eines Bildsensorpixels (15) eines digitalen Bildsensors
(14) der Aufnahmevorrichtung (10) über einen vorgegebenen Belichtungs- zeitraum hinweg,
- Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15) mittels einer elektronischen Ausleseschaltung (16) der Aufnahmevor- richtung (10) am Ende des Belichtungszeitraumes (ΪE), wobei das elektrische Signal eine akkumulierte Ladung als Reaktion auf das einfallende Licht des jeweiligen Bildsensorpixels (15) repräsentiert,
- Ermitteln eines digitalen Pixelwertes für jeden Bildsensorpixel (15) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen Bildsensorpixels
(15) mittels einer elektronischen Recheneinheit (17) der Aufnahmevorrich- tung (10), wobei der jeweilige Pixelwert der durch das ausgelesene elektri sche Signal des jeweiligen Bildsensorpixels (15) repräsentierten akkumulier- ten Ladung entspricht, und
- Generieren eines Digitalbildes basierend auf den ermittelten digitalen Pixel- werten mittels der elektronischen Recheneinheit (17),
gekennzeichnet durch
- Auslesen eines elektrischen Signals des mindestens einen Bildsensorpixels (15) während des Belichtungszeitraumes an einem oder mehreren diskreten Auslesezeitpunkten (ti-t4) innerhalb des Belichtungszeitraumes mittels der elektronischen Ausleseschaltung (16), und
mittels der elektronischen Recheneinheit (17)
- Ermitteln eines digitalen Pixelzwischenwertes (vi-v4) für jeden ausgelesenen Bildsensorpixel (15) an den jeweiligen diskreten Auslesezeitpunkten (ti-t4) 2
basierend auf dem ausgelesenen elektrischen Signal des jeweiligen
Bildsensorpixels (15) an dem jeweiligen diskreten Auslesezeitpunkt (ti-t4), wobei der jeweilige Pixelzwischenwert (vi-v4) der durch das ausgelesene elektrische Signal des jeweiligen Bildsensorpixels (15) repräsentierten akku- mulierten Ladung zum jeweiligen diskreten Auslesezeitpunkt (ti-t4) ent- spricht, und
- Schätzen eines digitalen Pixelwerte (VE) für den mindestens einen mehrfach ausgelesenen Bildsensorpixel (15) in Bezug auf das Ende des Belichtungs- zeitraumes (ΪE) in Abhängigkeit von den ermittelten digitalen Pixelzwischen- werten (V1-V4) des jeweiligen Bildsensorpixels (15) und deren jeweiligen dis- kreten Auslesezeitpunkten (ti-t4), wenn die akkumulierte Ladung des jeweili- gen mehrfach ausgelesenen Bildsensorpixels (15) am Ende des Belich- tungszeitraumes (ΪE) eine Ladungssättigung (vmax) erreicht hat.
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass
- für eine Mehrzahl von Bildsensorpixeln an den diskreten Auslesezeitpunkten (ti-t4) jeweils ein elektrisches Signal ausgelesen wird,
- wobei digitale Pixelzwischenwerte (V1-V4) für jeden mehrfach ausgelesenen Bildsensorpixel (15) an den jeweiligen diskreten Auslesezeitpunkten (ti-t4) basierend auf dem ausgelesenen elektrischen Signal des jeweiligen
Bildsensorpixels (15) und dem jeweilige diskreten Auslesezeitpunkt (ti-t4) er- mittelt werden und
- wobei ein digitaler Pixelwert (VE) für jeden mehrfach ausgelesenen
Bildsensorpixel in Bezug auf das Ende des Belichtungszeitraumes (ΪE) in Ab- hängigkeit von den ermittelten digitalen Pixelzwischenwerten (V1-V4) des je- weiligen Bildsensorpixels (15) und deren jeweiligen diskreten Auslesezeit- punkten (ti-t4) geschätzt wird, wenn die akkumulierte Ladung des jeweiligen mehrfach ausgelesenen Bildsensorpixels (15) am Ende des Belichtungszeit- raumes (ΪE) eine Ladungssättigung (vmax) erreicht hat.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Digital- bild basierend auf mindestens einem geschätzten Pixelwert des jeweiligen - 3 -
Bildsensorpixels (15) und ggf. mindestens einem am Ende des Belichtungszeit- raumes (ΪE) ermittelten Pixelwert, dessen Bildsensorpixel (1 5) die Ladungssätti- gung (v max ) nicht erreicht hat, generiert wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich- net, dass der mindestens eine Bildsensorpixel (15) ohne Unterbrechung über den Belichtungszeitraum hinweg belichtet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich- net, dass das generierte Digitalbild in einem digitalen Datenspeicher (18) der Aufnahmevorrichtung (10) hinterlegt wird.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich- net, dass der Belichtungszeitraum (ΪE) derart gewählt wird, dass mehr als 25%, vorzugsweise mehr als 50% der belichteten Bildsensorpixel (15) einen vorgege- benen Ladungsschwellenwert (vmax) erreicht haben.
7. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich- net, dass die Ladungssättigung (vmax) einem ursprünglichen Wertemaximum des mindestens einen Pixelwertes entspricht, wobei ein geschätzter digitaler Pi- xelwert größer oder gleich dem ursprünglichen Wertemaximum ist.
8. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich- net, dass eine ortsbezogene Pixel-Rauschreduzierung durchgeführt wird, wobei für die ortsbezogene Pixel-Rauschreduzierung zumindest eines Pixelzwischen- wertes (vi-v4) eines Bildsensorpixel an einem Auslesezeitpunkt (ti-t4) andere Pi- xelzwischenwerte (vi-v4) anderer Bildsensorpixel (ti-t4) herangezogen werden.
9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die ortsbezogene Pixel-Rauschreduzierung für alle Pixelzwischenwerte (vi-v4) mindestens eines Auslesezeitpunktes (ti-t4) durchgeführt wird.
10. Verfahren nach Anspruch 8 oder 9, dadurch gekennzeichnet, dass für die orts- bezogene Pixel-Rauschreduzierung zumindest eines Pixelzwischenwertes (vi- - 4 - v4) an einem Auslesezeitpunkt (ti-t4) andere Pixelzwischenwerte (V1-V4) dessel- ben Auslesezeitpunktes (ti-t4) herangezogen werden, deren Bildsensorpixel (15) in einem vorgegebenen Bereich um den Bildsensorpixel (15) des Pixelzwi- schenwertes liegen, für den die Pixel-Rauschreduzierung durchgeführt wird.
11. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeich- net, dass für mindestens einen Bildsensorpixel eine zeitbezogene Pixel- Rauschreduzierung durchgeführt wird, wobei für die zeitbezogene Pixel- Rauschreduzierung eines Pixelzwischenwertes des mindestens einen
Bildsensorpixel oder des geschätzten digitalen Pixelwertes die ermittelten Pixel- zwischenwerte des mindestens einen Bildsensorpixel herangezogen werden.
12. Aufnahmevorrichtung (10) zum Aufnehmen eines Digitalbildes, mit einem digita len Bildsensor, der mindestens einen Bildsensorpixel (15) hat, einer Auslese- Schaltung (16) zum Auslesen eines elektrischen Signals des mindestens einen
Bildsensorpixels (15), wobei das elektrische Signal eine akkumulierte Ladung als Reaktion auf einfallendes Licht des jeweiligen Bildsensorpixels (15) reprä- sentiert, und einer Recheneinheit (17) zum Ermitteln mindestens eines digitalen Pixelwertes basierend auf dem ausgelesenen elektrischen Signal des mindes- tens einen Bildsensorpixel (15) und zum Generieren eines Digitalbildes basie- rend auf dem mindestens einen ermittelten digitalen Pixelwert, dadurch gekennzeichnet, dass die Aufnahmevorrichtung (10) eingerichtet ist zur Durch- führung des Verfahrens nach einem der Ansprüche 1 bis 11.
PCT/EP2018/084582 2017-12-13 2018-12-12 Verfahren und vorrichtung zum aufnehmen eines digitalbildes WO2019115623A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP18819308.0A EP3725069A1 (de) 2017-12-13 2018-12-12 Verfahren und vorrichtung zum aufnehmen eines digitalbildes

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017129770.7A DE102017129770B4 (de) 2017-12-13 2017-12-13 Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes
DE102017129770.7 2017-12-13

Publications (1)

Publication Number Publication Date
WO2019115623A1 true WO2019115623A1 (de) 2019-06-20

Family

ID=64665354

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/084582 WO2019115623A1 (de) 2017-12-13 2018-12-12 Verfahren und vorrichtung zum aufnehmen eines digitalbildes

Country Status (3)

Country Link
EP (1) EP3725069A1 (de)
DE (1) DE102017129770B4 (de)
WO (1) WO2019115623A1 (de)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095189A1 (en) * 2001-11-13 2003-05-22 Xinqiao Liu Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
EP1909492A1 (de) * 2006-10-02 2008-04-09 Arnold & Richter Cine Technik GmbH & Co. Betriebs KG Digitale Laufbildkamera
EP2453646A2 (de) 2010-11-15 2012-05-16 Seiko Epson Corporation Bildaufnahmevorrichtung, Bildaufnahmeverfahren und Bildaufnahmeprogramm
DE102016218843A1 (de) 2015-10-01 2017-04-06 Semiconductor Components Industries, Llc Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7009636B2 (en) * 2001-11-13 2006-03-07 The Board Of Trustees Of The Leland Stanford Junior University Photocurrent estimation from multiple captures for simultaneous SNR and dynamic range improvement in CMOS image sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095189A1 (en) * 2001-11-13 2003-05-22 Xinqiao Liu Motion/saturation detection system and method for synthesizing high dynamic range motion blur free images from multiple captures
EP1909492A1 (de) * 2006-10-02 2008-04-09 Arnold & Richter Cine Technik GmbH & Co. Betriebs KG Digitale Laufbildkamera
EP2453646A2 (de) 2010-11-15 2012-05-16 Seiko Epson Corporation Bildaufnahmevorrichtung, Bildaufnahmeverfahren und Bildaufnahmeprogramm
DE102016218843A1 (de) 2015-10-01 2017-04-06 Semiconductor Components Industries, Llc Bilderzeugungspixel mit hohem Dynamikumfang mit verbesserter Auslesung

Also Published As

Publication number Publication date
DE102017129770B4 (de) 2020-08-13
DE102017129770A1 (de) 2019-06-13
EP3725069A1 (de) 2020-10-21

Similar Documents

Publication Publication Date Title
DE102007026337B4 (de) Digitale Kamera
DE60014814T2 (de) Elektronische Stehbildkamera und zugehöriges Signalverarbeitungsverfahren zur Entfernung von Rauschanteilen in Bilddaten
DE3687877T2 (de) Kamera und verfahren zur bilderzeugung.
DE69314370T2 (de) Festkörperbildaufnahmevorrichtung mit automatischer Korrektur defekter Bildelemente
DE3734957C2 (de)
DE602005005553T2 (de) Abbildungsvorrichtung und Abbildungsverfahren
DE4106825A1 (de) Belichtungskontrollvorrichtung fuer einzelbild-videokameras
EP1909492B1 (de) Digitale Laufbildkamera
DE102009053281A1 (de) Bildsensor
EP2567539B1 (de) Bildsensor und verfahren zum aufnehmen eines bildes
DE112015005599T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE102014013446A1 (de) Bildaufnahmevorrichtung und -system und Steuerverfahren für die Bildaufnahmevorrichtung
WO1999008440A1 (de) Verfahren zur kompensation des dunkelstroms eines mehrere pixel aufweisenden elektronischen sensors
DE112015005499T5 (de) Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren und Programm
DE10213564A1 (de) Verfahren zur Unterdrückung von Geistbildartefakten bei Röntgenbildern und Röntgenvorrichtung zur Durchführung dieses Verfahrens
DE102010051986A1 (de) Bildsensor
DE3134098A1 (de) Messeinrichtung
DE2060581A1 (de) Elektrische Schaltungsanordnung zur Vergroesserung kleiner Signalwertaenderungen gegenueber Stoerpegelwerten
EP1761071A1 (de) Verfahren zur Aufnahme eines Bildes und Digitalkamera
DE112017005810T5 (de) Bildaufnahmevorrichtung und Steuerverfahren dafür
DE102017129770B4 (de) Verfahren und Vorrichtung zum Aufnehmen eines Digitalbildes
WO2012130208A1 (de) Videoanordnung zur bereitstellung von hdr videoströmen
DE102013209164B4 (de) Digitale Filmkamera
DE102008052679A1 (de) Digitalkamerasensor, Digitalkamera sowie Verfahren zum Aufnehmen eines Kamerabildes
DE102009029868B4 (de) Bildaufnahmevorrichtung und Verfahren zum Erzeugen einer Aufnahme

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18819308

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018819308

Country of ref document: EP

Effective date: 20200713