Die vorliegende Erfindung bezieht sich auf Bildsensoren, Bildaufnahmesysteme und Bildaufnahmeverfahren, wie zum Beispiel zur Einzelbildaufnahme oder für die Aufnahme von Bildsequenzen.The present invention relates to image sensors, image acquisition systems and image acquisition methods, such as for single-frame shooting or for capturing image sequences.
Bei der Entwicklung von Kamerasystemen ist eine verbesserte Auflösung stets wünschenswert. Eine hohe Auflösung kann die räumliche Domäne, d. h. die Anzahl von Pixeln, oder die zeitliche Domäne, d. h. die Frame-Rate, betreffen. In den letzten Jahren sind Kameras in beiderlei Hinsicht verbessert worden: Die Anzahl von Pixeln in High-End-Systemen wurde auf bis über 65 MPixel pro Bild für Kameras von der Stange verbessert. Digitale Hochgeschwindigkeitskameras sind mit hohen Frame-Raten von oberhalb 100.000 Frames pro Sekunde bei niedriger Auflösung und Kameras mit 4.000 Frames pro Sekunde mit einer Auflösung von 2 MPixel verfügbar. Seit Kurzem sind im Consumer-Bereich sogar Kameras verfügbar, die in der Lage sind, kurze Sequenzen mit 60 Frames pro Sekunde bei 6 Megapixel aufzunehmen.In the development of camera systems, improved resolution is always desirable. A high resolution may be the spatial domain, i. H. the number of pixels, or the temporal domain, d. H. the frame rate, affect. In recent years, cameras have been improved in both ways: The number of pixels in high-end systems has been improved to over 65 MP pixels per picture for off-the-shelf cameras. High-speed digital cameras are available with high frame rates above 100,000 frames per second at low resolution and cameras at 4,000 frames per second at 2 MPixel resolution. Recently, even cameras are available in the consumer sector, which are able to record short sequences with 60 frames per second at 6 megapixels.
Obwohl der Markt nach immer höheren Auflösungen drängt, ist die Technologie dennoch begrenzt. Unter den limitierenden Faktoren sind vor allem die Folgenden zu nennen:
- • Digitale Begrenzungen: Die große Anzahl von Pixeln pro Sekunde erfordert schnelle A/D-Wandler, schnelle Speicher und einen Speicher, der eine große Anzahl von Frames erfassen kann. Typische Hochgeschwindigkeitskameras können bis zu wenigen Sekunden in einem schnellen Speicherpuffer aufnehmen und ablegen. Eine schnellere Kamera erfordert eine höhere Anzahl von parallelen A/D-Wandlern und mehr Elektronik. Dies erhöht aber wiederum die Kosten der Kamera und erhöht auch den Stromverbrauch.
- • Bildsensorbegrenzungen: In den Bildsensoren müssen die Pixelinformationen aus dem Pixelarray gelesen werden. Dies wird durchgeführt, indem eine Zeile von Pixeln ausgewählt wird und die akkumulierte Information über einen Spaltenbus übertragen wird. Für jede Zeile des Bildes muss jeder der Spaltenbusse von einem einzelnen Transistor in dem Pixel getrieben werden. Dies limitiert die effektive Scanrate durch des Bildsensors. Lediglich eine maximale Anzahl von Zeilen pro Sekunde kann aus einem Bildsensor gelesen werden.
Although the market is pushing for ever higher resolutions, the technology is still limited. Among the limiting factors are the following: - • Digital limitations: The large number of pixels per second requires fast A / D converters, fast memory, and memory that can capture a large number of frames. Typical high-speed cameras can record and store up to a few seconds in a fast memory buffer. A faster camera requires a higher number of parallel A / D converters and more electronics. However, this in turn increases the cost of the camera and also increases the power consumption.
- • Image sensor limits: In the image sensors, the pixel information must be read from the pixel array. This is done by selecting a row of pixels and transferring the accumulated information over a column bus. For each line of the image, each of the column buses must be driven by a single transistor in the pixel. This limits the effective scan rate through the image sensor. Only a maximum number of lines per second can be read from an image sensor.
Bis jetzt war eine Verbesserung lediglich mit besseren Bildsensoren und einer schnelleren Elektronik möglich. Für einen kontinuierlichen Betrieb ist nunmehr aber der Punkt erreicht, wo die Leistungsdissipation in einem Hochgeschwindigkeitsbildsensor eine aktive Kühlung erfordert und eine weitere Erhöhung sehr kostspielig wird.Until now, an improvement was only possible with better image sensors and faster electronics. However, the point is now reached for continuous operation where power dissipation in a high speed image sensor requires active cooling and further increase becomes very costly.
Die Abtastung von hoher Auflösung kann zu der Erfassung vieler unnötiger und redundanter Daten führen. In vielen Anwendungen ist es möglich, direkt eine Datenkompression an den Bildern durchzuführen, wobei dennoch all die Details immer noch sichtbar sind. Diese Reduktion der irrelevanten Informationen geschieht aber sehr spät bei der Verarbeitung und reduziert nicht wirklich die obigen Bildsensorlimitierungen. Die grundlegende Idee der transformationsbasierten Bildcodierung besteht darin, dass oftmals eine dünn besetzte Darstellung des Bildes in der Transformationsdomäne vorliegt, so dass es ausreichend ist, nur wenige Transformationskoeffizienten tatsächlich zu übertragen.The high resolution scan may result in the detection of many unnecessary and redundant data. In many applications, it is possible to directly compress data on the images, yet all the details are still visible. However, this reduction of irrelevant information happens very late in processing and does not really reduce the above image sensor limitations. The basic idea of transform-based image coding is that there is often a sparse representation of the image in the transform domain, so that it is sufficient to actually transmit only a few transform coefficients.
Seit Neuem bedient man sich der Theorie der komprimierten Erfassung (compressed sensing), um Bilder auf eine neue Art und Weise aufzunehmen bzw. zu erfassen. Hiervon machten Techniken Gebrauch, die unter anderem in den Schriften [1]–[29] beschrieben sind.Recently, the theory of compressed sensing has been used to capture images in a new way. This technique was used, which are described inter alia in the writings [1] - [29].
Ein Überblick über die Publikationen über die Methodik der komprimierten Erfassung kann auf der Rice-Universitäts-Webseite aufhttp://dsp-rice.edu/cs gefunden werden.An overview of publications on the methodology of compressed collection can be found on the Rice University website at http://dsp-rice.edu/cs.
All die Techniken, die in den vorerwähnten Druckschriften beschrieben werden, haben aber gewisse Nachteile. Manche der Techniken erfordern ein hohes Maß an Serialität zur Aufnahme eines Bildes und eignen sich somit nicht zur Erfassung von bewegten Szenen. Viele der Lösungsansätze erfordern auch ein hohes Maß an Schaltungsaufwand, was wiederum die Herstellungskosten erhöht und/oder sogar ein Problem im Hinblick auf die Miniaturisierung der Pixelflächen darstellt.However, all the techniques described in the aforementioned references have certain disadvantages. Some of the techniques require a high degree of seriality to capture an image and are therefore not suitable for capturing moving scenes. Many of the approaches also require a high degree of circuit complexity, which in turn increases manufacturing costs and / or even poses a problem with regard to miniaturization of pixel areas.
Es wäre wünschenswert, Lösungen für die Bildaufnahme an der Hand zu haben, die es ermöglichen, mit einer vorgegebenen Pixelsensortechnologie Bilder mit einer höheren Auflösung, und zwar zeitlicher und/oder örtlicher Art, aufzunehmen, ohne dass dabei der Kostenaufwand enorm stiege.It would be desirable to have imaging solutions that allow for higher resolution, temporal and / or spatial imaging of a given pixel sensor technology, without the costly hassle.
Die Aufgabe der vorliegenden Erfindung besteht deshalb darin, einen Bildsensor, ein Bildaufnahmesystem und ein Verfahren zum Aufnehmen eines Bildes zu schaffen, die diesem Wunsch nachkommen.The object of the present invention is therefore to provide an image sensor, an image pickup system and a method for picking up an image, which fulfill this desire.
Diese Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. This object is solved by the subject matters of the independent claims.
Die vorliegende Erfindung beruht teilweise auf der Erkenntnis, dass eine Unregelmäßigkeit in Bezug auf die Bildaufnahme beeinflussende Faktoren in einem Bildsensor, die über die Verteilung von Pixeln hinweg auftritt, dazu verwendet werden kann, um auf effektive Weise zu einer erhöhten Auflösung zu gelangen.The present invention is based, in part, on the finding that factors influencing image acquisition irregularity in an image sensor that occurs across the distribution of pixels can be used to effectively achieve increased resolution.
Die vorliegende Erfindung beruht in Teilen der Aspekte auch auf der Erkenntnis, dass auch ein regelmäßiges Array von Pixeln als Grundlage für einen Bildsensor verwendet werden kann, um auf effektive Weise zu einer erhöhten Auflösung zu gelangen.The present invention is also based, in part of the aspects, on the realization that a regular array of pixels can also be used as a basis for an image sensor in order to effectively achieve an increased resolution.
Gemäß einem ersten Aspekt der vorliegenden Anmeldung umfasst ein Grauwertbildsensor ein regelmäßiges Array von Pixeln mit jeweils einer zugeordneten Pixelfläche, die sich aus einem empfindlichen und einem unempfindlichen Teil zusammensetzt, wobei die örtliche Zusammensetzung der Pixelfläche aus dem empfindlichen und dem unempfindlichen Teil aufgrund von Layout-Unterschieden, d. h. fest in der Hardware manifestiert und nicht einstellbar, wie z. B. über ein LC-Filter – zwischen den Pixeln über das regelmäßige Array unregelmäßig variiert. Aufgrund der „unregelmäßigen Variation” kann vermieden werden, dass die Übertragungsfunktion, die durch die geometrische Anordnung der empfindlichen Teile der Pixel definiert wird, im Ortsfrequenzspektrum der Übertragungsfunktion Nullstellen aufweist, weshalb eine Interpolation über die Auflösung des Pixelarrays, wie sie durch den Pixelmittenabstand definiert wird, hinaus ermöglicht wird. Die Regelmäßigkeit des Arrays ermöglicht das Zurückgreifen auf bereits bestehende Pixelarraydesigns und das Zurückgreifen auf weniger komplexe Interpolationsverfahren zur Auflösungssteigerung von der Auflösung des Pixelarrays zu einer besseren Auflösung mit ebenfalls einer regelmäßigen Anordnung von Abtastpunkten hin.According to a first aspect of the present application, a halftone image sensor comprises a regular array of pixels each having an associated pixel area composed of a sensitive and an insensitive part, the local composition of the pixel area being made up of the sensitive and insensitive parts due to layout differences , d. H. firmly manifested in the hardware and not adjustable, such. B. via an LC filter - varies irregularly between the pixels on the regular array. Due to the "irregular variation", it can be avoided that the transfer function defined by the geometrical arrangement of the sensitive parts of the pixels has zeroes in the spatial frequency spectrum of the transfer function, therefore interpolation via the resolution of the pixel array as defined by the pixel pitch , is made possible. The regularity of the array allows for resorting to pre-existing pixel array designs and resorting to less complex interpolation methods to increase the resolution from pixel array resolution to better resolution, also with a regular array of sample points.
Gemäß einem weiteren Aspekt der vorliegenden Anmeldung wird die Erkenntnis der vorteilhaften Kombination eines regelmäßigen Arrays von Pixeln bei unregelmäßiger Variation der lichtempfindlichen Bereiche dadurch ausgenutzt, dass ein Bildsensor ein regelmäßiges Array von Pixeln mit jeweils einer zugeordneten Pixelfläche aufweist, die sich aus einem photosensitiven Teil und einem Ansteuerungsteil zusammensetzt, wobei die örtliche Zusammensetzung der Pixelfläche aus dem photosensitiven Teil und dem Ansteuerschaltungsteil über das regelmäßige Array hinweg unregelmäßig variiert. Gemäß diesem Aspekt wird zusätzlich davon Gebrauch gemacht, dass üblicherweise ohnehin nicht die gesamte Pixelfläche als photosensitive Fläche zur Verfügung steht, sondern dass üblicherweise ein Teil der Pixelfläche ohnehin durch einen Ansteuerschaltungsteil des Pixels eingenommen wird, über den das Pixel beispielsweise rücksetzbar und auslesbar ist, wie z. B. über entsprechende Zeilen- und Spaltenleitungen. Das Layout eines bestehenden Pixelarrays wird durch die unregelmäßige Variation der Platzierung des jeweiligen Ansteuerschaltungsteils mit großer Wahrscheinlichkeit bzw. bei geschickter Wahl der Variationsmöglichkeiten der örtlichen Zusammensetzung der Pixelfläche nur unwesentlich verändert, so dass bestehende Layouts einfach angepasst werden können.According to a further aspect of the present application, the recognition of the advantageous combination of a regular array of pixels with irregular variation of the photosensitive areas is made use of in that an image sensor has a regular array of pixels each having an associated pixel area consisting of a photosensitive part and a pixel array Driving part, wherein the local composition of the pixel area of the photosensitive member and the driving circuit part varies irregularly over the regular array. According to this aspect, use is additionally made of the fact that usually the entire pixel area is not available as a photosensitive area anyway, but that usually a part of the pixel area is occupied by a drive circuit part of the pixel over which the pixel is for example resettable and readable, such as z. B. via corresponding row and column lines. The layout of an existing pixel array is changed only insignificantly by the irregular variation of the placement of the respective drive circuit part or with a skillful choice of the variation possibilities of the local composition of the pixel area, so that existing layouts can be easily adapted.
Eine weitere Erkenntnis, auf der die vorliegende Anmeldung teilweise basiert, bezieht sich auf die Problematik bei einer Bildaufnahme, wonach es schwierig ist, den (Helligkeitswert-)Dynamikumfang eines Bildes mit nur einer einzigen Bildaufnahme zu erfassen. Gemäß einem weiteren Aspekt der vorliegenden Anmeldung umfasst deshalb ein Bildsensor neben einer zweidimensionalen Verteilung von Pixeln darüber hinaus noch einen über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig variierenden ND-Filter. In anderen Worten ausgedrückt variiert die Empfindlichkeit der Pixel unregelmäßig über die zweidimensionale Verteilung der Pixel hinweg unregelmäßig. Aufgrund der Variation werden einige der Pixel einer Bildaufnahme überbelichtet sein und einige unterbelichtet, aber aufgrund der Unregelmäßigkeit wird es möglich sein, die fehlenden Bildinformationen der überbelichteten und gegebenenfalls auch der unterbelichteten Pixel durch Interpolation wieder zu füllen, so dass sich eine Aufnahme mit einem hohen Dynamikumfang bei hoher Auflösung mit vertretbarem Aufwand ergibt.Another finding, on which the present application is based in part, relates to the problem of image capture, which makes it difficult to capture the (brightness value) dynamic range of an image with only a single image capture. Therefore, according to another aspect of the present application, an image sensor further comprises, in addition to a two-dimensional distribution of pixels, an ND filter which irregularly varies over the two-dimensional distribution of pixels. In other words, the sensitivity of the pixels varies irregularly over the two-dimensional distribution of the pixels. Due to the variation, some of the pixels of an image capture will be overexposed and some underexposed, but due to the irregularity it will be possible to refill the missing image information of the overexposed and possibly also the underexposed pixels by interpolation so that a high dynamic range image is captured at high resolution with reasonable effort.
Gemäß einem wiederum weiteren Aspekt der vorliegenden Anmeldung kann dieser Effekt auch erzielt werden, wenn ein Bildsensor neben der zweidimensionalen Verteilung von Pixeln darüber hinaus für eine Bildaufnahme über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig variierende Shutter-Start- und/oder Shutter-Endzeitpunkte verwendet. In anderen Worten ausgedrückt kann durch eine unregelmäßige Variation der Shutter-Start- und/oder Shutter-Endzeitpunkte die Shutter- bzw. Belichtungszeit unregelmäßig variiert werden, und damit auch die wiederum die Empfindlichkeit bzw. der Dynamikumfang.According to yet another aspect of the present application, this effect can also be achieved if, in addition to the two-dimensional distribution of pixels, an image sensor also uses irregularly varying shutter start and / or shutter end times for image acquisition across the two-dimensional distribution of pixels. In other words, by an irregular variation of the shutter start and / or shutter end times, the shutter speed can be varied irregularly, and thus also the sensitivity and the dynamic range.
Ein weiterer Kerngedanken, den einige Ausführungsbeispiele der vorliegenden Anmeldung verfolgen, besteht darin, erkannt zu haben, dass es möglich ist, auch mit einer bestehenden Hardware bzw. einem vorgegebenen Nadelöhr in Bezug auf die maximale Anzahl von erfassbaren Pixeln pro Zeiteinheit, wie z. B. aufgrund der beschränkten Analog/Digital-Wandlungskapazität, die Zeitauflösung weiter gesteigert werden kann, ohne dass hierzu hardwaretechnische Verbesserungen vorgenommen werden müssten. Gemäß dem vorerwähnten Aspekt mit einem Bildsensor mit einer zweidimensionalen Verteilung von Pixeln und für eine Bildaufnahme über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig variierenden Shutter-Start- und Shutter-Endzeitpunkten ist es beispielsweise möglich, in einem Aufnahme-Frame bzw. in einem Aufnahmezeitfenster für jedes Pixel einen Pixelwert zu erhalten, wobei aber der Ort des Shutter-Zeitfensters über die zweidimensionalen Verteilung der Pixel hinweg entlang der Zeitachse hinsichtlich seiner Position variiert. Eine zusätzlich Variation in der Länge des entsprechenden Zeitfensters ergibt den bereits oben erwähnten zusätzlichen Vorteil im Hinblick auf die Dynamikerhöhung. Durch die unterschiedliche Lage der Shutter-Zeitfenster entlang der Zeitachse ergibt sich insgesamt eine dreidimensionale Abtastung des Bildes innerhalb des Aufnahmezeitfensters, nämlich entlang der beiden Ortsachsen und der Zeitachse, wobei es aufgrund der Unregelmäßigkeit wiederum möglich ist, Zwischengitterpositionen, d. h. Pixelwerte an den Orten zweidimensionaler Verteilung, aber an mehr als nur einem Abtastzeitpunkt innerhalb des Aufnahmezeitfensters, zu interpolieren.Another key idea pursued by some embodiments of the present application is to have realized that it is possible, even with an existing hardware or a given Nadelöhr with respect to the maximum number of detectable pixels per unit time, such. B. due to the limited analog / digital conversion capacity, the time resolution can be further increased, without that this hardware improvements would have to be made. For example, according to the above-mentioned aspect, with an image sensor having a two-dimensional distribution of pixels and shutter-start and shutter-end times irregularly varying for image recording over the two-dimensional distribution of pixels, it is possible to use a recording frame in a recording time window Each pixel has a pixel value, but the location of the shutter time window varies in position over the two-dimensional distribution of the pixels along the time axis. An additional variation in the length of the corresponding time window results in the above-mentioned additional advantage with regard to the dynamic increase. Due to the different position of the shutter time windows along the time axis, a three-dimensional scan of the image within the acquisition time window results overall, namely along the two spatial axes and the time axis, whereby it is again possible due to the irregularity, interstitial positions, ie pixel values at the locations of two-dimensional distribution but at more than one sampling time within the recording time window, to interpolate.
Auf ähnliche Weise kann gemäß einem weiteren Aspekt der vorliegenden Anmeldung eine Auflösungssteigerung dadurch erzielt werden, dass anstelle einer üblichen regelmäßigen Teilbildauslese eine über die zweidimensionale Verteilung unregelmäßig verschränkte Auslese stattfindet. Gemäß einem Aspekt der vorliegenden Erfindung umfasst beispielsweise ein Bildsensor neben einer zweidimensionalen Verteilung von Pixeln darüber hinaus noch eine Ausleseschaltung, wobei der Bildsensor ausgebildet ist, um jedes Pixel jeweils in einem einer Mehrzahl von aufeinanderfolgenden Zyklen mit der Ausleseschaltung zu verbinden, derart, dass an jedem der Mehrzahl von aufeinanderfolgenden Zyklen eine jeweilige Teilmenge der Pixel mit der Ausleseschaltung verbunden ist, um für jedes mit der Ausleseschaltung verbundene Pixel einen Pixelwert zu erhalten, wobei die Teilmengen disjunkt zueinander sind und jeweils Pixel umfassen, die über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig verteilt sind. Auf diese Weise wird also pro Zyklus ein Teilbild erhalten, bei welchem die Stützpunktpixel unregelmäßig verteilt sind, so dass eine Zwischenpixelinterpolation ermöglicht wird.In a similar manner, according to a further aspect of the present application, an increase in resolution can be achieved in that, instead of a conventional regular partial image readout, a readout which is irregularly entangled over the two-dimensional distribution takes place. For example, according to one aspect of the present invention, an image sensor further comprises a readout circuit in addition to a two-dimensional distribution of pixels, the image sensor being configured to connect each pixel to the readout circuit in each of a plurality of consecutive cycles such that each the plurality of successive cycles, a respective subset of the pixels are connected to the readout circuit to obtain a pixel value for each pixel connected to the readout circuit, the subsets being disjoint to each other and each including pixels that are irregularly distributed throughout the two-dimensional distribution of pixels are. In this way, one frame per cycle is thus obtained in which the interpolation point pixels are distributed irregularly, so that interpixel interpolation is made possible.
Eine weitere Erkenntnis, auf dem die vorliegende Erfindung zumindest in einigen Aspekten basiert, ist, dass die Vorteile der zuletzt genannten Aspekte, wie z. B. der Zeitinterpolation und Dynamiksteigerung, dadurch realisierbar sind, dass die übliche regelmäßige streng entlang der Zeilen und Spalten verlaufende Führung der Zeilen- und Spaltenleitungen aufgebrochen wird. Beispielsweise umfasst ein Bildsensor eine zweidimensionale Verteilung von Pixeln mit Spalten und Zeilen, wobei Zeilenleitungen jeweils mit Pixeln in unterschiedlichen Zeilen der zweidimensionalen Verteilung verbindbar oder verbunden sind, und zwar in einer über die Spalten hinweg unregelmäßigen Weise, und/oder die Zeilenleitungen mit jeweils einem Pixel aus einer echten Teilmenge der Spalten der zweidimensionalen Verteilung verbindbar oder verbunden ist, wobei die Spalten, die zu der echten Teilmenge gehören, über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßig verteilt sind. Die Teilbildauslese, die Dynamiksteigerung und die Zeitauflösungssteigerung sind auf diese Weise elegant gemeinsam erzielbar.Another insight, on which the present invention is based, at least in some aspects, is that the advantages of the latter aspects, such as, for example, B. the time interpolation and increase in dynamics, can be realized that the usual regular strictly along the rows and columns running leadership of the row and column lines is broken. For example, an image sensor comprises a two-dimensional distribution of pixels with columns and rows, wherein row lines are respectively connectable or connected to pixels in different rows of the two-dimensional distribution, in an irregular manner across the columns, and / or the row lines of one pixel each is connectable or connected from a true subset of the columns of the two-dimensional distribution, the columns belonging to the true subset being distributed irregularly across the columns of the two-dimensional distribution. The field selection, the increase in dynamics and the increase in time resolution are thus elegantly achievable together.
Gemäß einem wiederum weiteren Aspekt der vorliegenden Anmeldung wird die oben erwähnte Möglichkeit der Dynamiksteigerung durch Empfindlichkeitsvariation dadurch realisiert, dass zwar alle Pixel über ein gemeinsames Bildaufnahmezeitintervall hinweg kumulieren, dass aber dieses Bildaufnahmezeitintervall über die zweidimensionale Verteilung von Pixeln des Bildsensors hinweg in unregelmäßig variierender Art und Weise in unterschiedlich viele Teilintervalle unterteilt ist. Die Summe der über die Teilintervalle erhaltenen Akkumulationswerte ergibt für das jeweilige Pixel den Pixelwert. Pixel, bei denen das gemeinsame Bildaufnahmezeitintervall nicht oder nur in wenige Teilintervalle unterteilt sind, sind für dunkle Bereiche des Bildes geeigneter, wohingegen sie bei hellen Bereichen zu einer Überbelichtung führen. Pixel mit einer höheren Anzahl von Teilintervallen führen auch bei helleren Bereichen des Bildes nicht zu einer Überbelichtung, liefern aber bei dunklen Bereichen eine geringere Quantisierung. Trotzdem sind alle Pixel über das gemeinsame Bildaufnahmezeitintervall hinweg am Akkumulieren, so dass Bildartefakte aufgrund von Objektbewegungen im Bild vermieden werden. Aufgrund der Unregelmäßigkeit der Anzahl der Teilintervalle über die zweidimensionale Verteilung von Pixeln hinweg, und der Auswahl von überbelichteten und gegebenenfalls unterbelichteten Pixeln durch Interpolation ausgleichbar.In yet another aspect of the present application, the above-mentioned possibility of increasing the sensitivity through sensitivity variation is realized by cumulating all pixels over a common image acquisition time interval, but this image acquisition time interval varies in an irregularly varying manner over the two-dimensional distribution of pixels of the image sensor is divided into different numbers of subintervals. The sum of the accumulation values obtained over the subintervals yields the pixel value for the respective pixel. Pixels in which the common image acquisition time interval is not or only subdivided into a few sub-intervals are more suitable for dark areas of the image, whereas in light areas they lead to overexposure. Pixels with a higher number of sub-intervals will not overexpose even in lighter areas of the image, but will provide less quantization in dark areas. Nevertheless, all pixels accumulate over the common image acquisition time interval, so image artifacts due to object movement in the image are avoided. Due to the irregularity of the number of sub-intervals over the two-dimensional distribution of pixels, and the selection of overexposed and possibly underexposed pixels compensated by interpolation.
Vorteilhafte Ausgestaltungen von Ausführungsbeispielen der vorliegenden Erfindung sind Gegenstand der abhängigen Patentansprüche. Insbesondere werden bevorzugte Ausführungsbeispiele der vorliegenden Anmeldung nachfolgend Bezug nehmend auf die Zeichnungen näher erläutert. Es zeigen:Advantageous embodiments of embodiments of the present invention are the subject of the dependent claims. In particular, preferred embodiments of the present application are explained below with reference to the drawings. Show it:
1 ein schematisches Blockschaltbild eines Ausführungsbeispiels eines Bildsensors gemäß einem Ausführungsbeispiel; 1 a schematic block diagram of an embodiment of an image sensor according to an embodiment;
2 ein Blockschaltbild eines Bildaufnahmesystems gemäß einem Ausführungsbeispiel mit einem Bildsensor gemäß einem der Ausführungsbeispiele der vorliegenden Anmeldung; 2 a block diagram of an image pickup system according to an embodiment with an image sensor according to one of the embodiments of the present application;
3a eine schematische Darstellung einer üblichen Anordnung von Pixeln in einem Pixelarray; 3a a schematic representation of a conventional arrangement of pixels in a pixel array;
3b eine schematische Darstellung einer unpraktikablen zweidimensionalen Zufallsanordnung von Pixeln; 3b a schematic representation of an impractical two-dimensional random arrangement of pixels;
3c und 3d ein regelmäßiges Array von Pixeln mit über das Array unregelmäßig variierender örtlicher Zusammensetzung der Pixelflächen in einem empfindlichen und unempfindlichen Teil gemäß zweier Ausführungsbeispiele; 3c and 3d a regular array of pixels having locally varying composition of the pixel areas in a sensitive and insensitive part over the array according to two embodiments;
3e eine schematische Teilseitenansicht eines Bildsensors mit einem Pixelarray gemäß 3c oder 3d gemäß einem Ausführungsbeispiel; 3e a schematic partial side view of an image sensor with a pixel array according to 3c or 3d according to an embodiment;
3f eine schematische Teilschnittseitenansicht eines Bildsensors mit einem Pixelarray gemäß 3c oder 3d gemäß einem alternativen Ausführungsbeispiel; 3f a schematic partial sectional side view of an image sensor with a pixel array according to 3c or 3d according to an alternative embodiment;
4a Beispiele für mögliche Pixellayouts, die gemäß Ausführungsbeispielen der vorliegenden Anmeldung verwendet werden können; 4a Examples of possible pixel layouts that may be used in accordance with embodiments of the present application;
4b eine schematische Darstellung eines regelmäßigen Arrays von Pixeln mit einer über das Array unregelmäßig variierenden örtlichen Zusammensetzung der Pixelfläche aus Ansteuerschaltungsteil und photosensitivem Teil gemäß einem Ausführungsbeispiel; 4b a schematic representation of a regular array of pixels with an irregularly varying over the array local composition of the pixel area of driving circuit part and photosensitive member according to an embodiment;
5 eine schematische Darstellung eines Bildsensors gemäß einem weiteren Ausführungsbeispiel; 5 a schematic representation of an image sensor according to another embodiment;
6a eine schematische Darstellung einer traditionellen Verdrahtungsstruktur eines Bildsensors; 6a a schematic representation of a traditional wiring structure of an image sensor;
6b bis 6e schematische Darstellungen von Verdrahtungsstrukturen gemäß Ausführungsbeispielen, und zwar mit randomisierter Verschachtelung zweier Zeilenleitungen in 6b, einer Zufallsverschachtelung von drei Zeilenleitungen in 6c, einer optimierten Verdrahtung für eine Gleitfensterverschachtelung mit vier Zeilen in 6d und einer Faktor-Zwei-Spaltenverschachtelung mit Spaltenleitungen für gerade Zeilenadressen und ungerade Zeilenadressen in 6e; 6b to 6e schematic representations of wiring structures according to embodiments, namely with randomized nesting of two row lines in 6b , a random interleaving of three row lines in 6c , optimized wiring for four-row sliding window nesting 6d and factor-two-column interleaving with column lines for even row addresses and odd row addresses in 6e ;
7a eine schematische Darstellung eines Bildsensors gemäß einem weiteren Ausführungsbeispiel; 7a a schematic representation of an image sensor according to another embodiment;
7b ein Diagramm, das eine randomisierte zeitliche Abfolge von Zeilenadressen zeigt; 7b a diagram showing a randomized temporal sequence of row addresses;
7c ein Diagramm, das eine randomisierte Anordnung von Rücksetz- und zerstörungsfreien Auslesezeitpunkten zeigt; 7c a diagram showing a randomized arrangement of reset and non-destructive readout times;
8 eine schematische Darstellung eines 3D-Raum/Zeit-Gitters mit exemplarischen Akkumulationsintervallen von Pixeln eines Bildsensors gemäß 7a gemäß einem Ausführungsbeispiel; 8th a schematic representation of a 3D space / time grid with exemplary accumulation intervals of pixels of an image sensor according to 7a according to an embodiment;
9a bis 9d Diagramme, die die zeitlichen Abläufe des Rücksetzens und Auslesens und des zwischenzeitlichen Akkumulieren der Zeilen eines Bildsensors gemäß herkömmlicher Vorgehensweisen veranschaulichen; 9a to 9d Diagrams illustrating the timings of resetting and reading out and temporarily accumulating the lines of an image sensor according to conventional approaches;
9e ein Diagramm, das den zeitlichen Ablauf des Rücksetzens und Auslesens von Zeilen eines Bildsensors gemäß einem weiteren Ausführungsbeispiel zeigt; 9e a diagram showing the timing of resetting and reading out lines of an image sensor according to another embodiment;
10 eine schematische Darstellung eines Bildsensors gemäß einem weiteren Ausführungsbeispiel; 10 a schematic representation of an image sensor according to another embodiment;
11 eine schematische Darstellung eines Bildsensors gemäß einem weiteren Ausführungsbeispiel; 11 a schematic representation of an image sensor according to another embodiment;
12 Abtastungen für Testmuster Zone Plate, jeweils Vollbild (oben) und abgeschnittene Region (unten): a) und c) zeigen Aliasing-Abtastung, b), d) und e) zeigen lineare, lineare und Spline-basierte Interpolation von a) und c), beträchtliches Aliasing ist sichtbar, f) zeigt ideale Abtastung und Interpolation, g) vorgeschlagene ¼ zufällige Abtastung, h) lineare Delauney-Interpolation von zufälliger Abtastung, i) cFSE-Rekonstruktion des Originals von g) und j) gemäß Ausführungsbeispiel. 12 Samples for test patterns Zone Plate, full frame (top) and truncated region (bottom): a) and c) show aliasing sampling, b), d) and e) show linear, linear and spline-based interpolation of a) and c ), considerable aliasing is visible, f) shows ideal sampling and interpolation, g) proposed ¼ random sampling, h) linear Delauney interpolation of random sampling, i) cFSE reconstruction of the original of g) and j) according to the embodiment.
13 eine Visualisierung von cFSE-Parametern einer Rekonstruktion gemäß einem Ausführugsbeispiel: a) beispielhafter Bereich L mit Unterteilung in Teilbereiche A (weiß), B (schwarz) und C (grau/schraffiert), b) Bereich L mit Gewichtung von Pixeln w[m, n], und c) Basisfunktionswahrscheinlichkeit p[k, l] mit hohen Frequenzen in der Mitte 13 a visualization of cFSE parameters of a reconstruction according to an embodiment: a) exemplary area L with subdivision into subareas A (white), B (black) and C (gray / hatched), b) area L with weighting of pixels w [m, n], and c) basis function probability p [k, l] with high frequencies in the middle
14a bis 14e Bildausschnitte aus dem Lighthouse-Bild zur Veranschaulichung unterschiedlicher Rekonstruktionen; und 14a to 14e Image excerpts from the Lighthouse image to illustrate different reconstructions; and
15 Bildausschnitte aus dem Lena-Bild zur Veranschaulichung unterschiedlicher Rekonstruktionen. 15 Image excerpts from the Lena picture to illustrate different reconstructions.
1 zeigt einen Bildsensor gemäß einem Ausführungsbeispiel der vorliegenden Anmeldung. Es kann sich beispielsweise um einen Grauwertbildsensor handeln. Der Bildsensor von 1 ist allgemein mit dem Bezugszeichen 10 angezeigt und umfasst ein zweidimensionale Verteilung von Pixeln, hier ein regelmäßiges Array von Pixeln 12, die, wie in 1 der Fall, beispielsweise in Zeilen und Spalten angeordnet sind. Neben einer regelmäßigen Anordnung in Spalten und Zeilen sind aber auch noch andere regelmäßige Anordnungen möglich. Die Pixel könnten beispielsweise in einem hexagonalen Gitter angeordnet sein oder dergleichen. Grundsätzlich sind auch andere Anordnungen möglich, nämlich unregelmäßige, aber der Vorteil einer regelmäßigen Anordnung besteht in der damit einhergehenden Vereinfachung der Handhabung der ausgelesenen Pixelwerte usw. 1 shows an image sensor according to an embodiment of the present application. It may, for example, be a gray value image sensor. The image sensor of 1 is generally indicated by the reference numeral 10 and includes a two-dimensional distribution of pixels, here a regular array of pixels 12 that, as in 1 the case, for example, arranged in rows and columns. In addition to a regular arrangement in columns and rows but also other regular arrangements are possible. For example, the pixels could be arranged in a hexagonal grid or the like. In principle, other arrangements are possible, namely irregular, but the advantage of a regular arrangement is the concomitant simplification of handling the read pixel values, etc.
1 zeigt natürlich lediglich einen Ausschnitt aus dem regelmäßigen Array von Pixeln. Das Array kann auch größer sein. In dem Fall von 1, wo die zweidimensionale Verteilung von Pixeln Spalten und Zeilen aufweist, sind die Pixel nicht nur mit dem Bezugszeichen 12 versehen, sondern auch mit zwei Indizes, von denen der erste die Spaltennummer und der zweite die Zeilennummer angibt – bezogen auf den Ausschnitt des Arrays, der in 1 dargestellt ist. 1 Of course, it only shows a section of the regular array of pixels. The array can also be larger. In the case of 1 where the two-dimensional distribution of pixels has columns and rows, the pixels are not just reference numerals 12 but also with two indices, the first of which indicates the column number and the second the row number - relative to the section of the array that is in 1 is shown.
Jedem Pixel 12 ist eine jeweilige Pixelfläche zugeordnet, die in 1 exemplarisch quadratisch ist, aber auch anders ausfallen könnte.Every pixel 12 is assigned a respective pixel area which is in 1 square as an example, but could also be different.
Jede Pixelfläche setzt sich aus einem empfindlichen bzw. photosensitiven Teil 14, der in 1 exemplarisch weiß dargestellt ist, und einem unempfindlichen Teil 16, der in 1 exemplarischen schraffiert dargestellt ist, zusammen. Die örtliche Zusammensetzung der Pixelfläche aus dem empfindlichen Teil 14 und dem unempfindlichen Teil 16 variiert über das regelmäßige Array hinweg unregelmäßig.Each pixel area consists of a sensitive or photosensitive part 14 who in 1 exemplified in white, and an insensitive part 16 who in 1 Exemplary hatched, together. The local composition of the pixel area from the sensitive part 14 and the insensitive part 16 varies irregularly across the regular array.
Insbesondere kann es sich bei dem unempfindlichen Teil 16 beispielsweise um den Ansteuerschaltungsteil des jeweiligen Pixels handeln, d. h. die Fläche, in welcher die Ausleseschaltung des jeweiligen Pixels angeordnet ist, die dazu vorgesehen ist, das jeweilige Pixel 12 ansteuern zu können, um es beispielsweise zurückzusetzen und/oder auszulesen, um dazwischen Licht zu akkumulieren, welches auf den Teil 14 des jeweiligen Pixels trifft. Die unregelmäßige Variation kann aber auch durch andere Layout-Unterschiede zwischen den Pixeln 12 erreicht werden. Beispielsweise definieren entsprechende Löcher in einer opaken Schicht oberhalb der Pixel 12 den photosensitiven Teil 16 der Pixel 12. In diesem Fall definierte die sich überlappende Fläche aus dem eigentlichen photoempfindlichen Bereich des jeweiligen Pixels, wo sich beispielsweise eine Raumladungszone oder Drift- und/oder Diffusionszone befindet, und der Öffnung in der vorerwähnten, in 1 aber nicht gezeigten opaken Schicht die photoempfindlichen Bereiche 14 bzw. die Grenze zwischen denselben und den unempfindlichen Teilen 16. Es wird auch darauf hingewiesen, dass es nicht unbedingt notwendig ist, dass die Teile 14 und 16 zusammenhängend sind. In Anlehnung an diese Möglichkeit wird im Folgenden unter dem Terminus „photosensitiver Teil” derjenige Teil eines Pixels bezeichnet, in welchem die tatsächliche Umsetzung von Photonen in elektrische Ladungsträger stattfindet, wohingegen unter dem Terminus „empfindlicher Teil” derjenige Flächenanteil eines Pixels 12 verstanden sein soll, der effektiv für die Ladungsakkumulation zur Verfügung steht und beispielsweise gegenüber dem photosensitiven Teil noch einmal verkleinert ist, indem letzterer teilweise abgeschattet bzw. abgeschottet ist.In particular, it may be in the insensitive part 16 For example, to act on the drive circuit portion of each pixel, ie the area in which the read-out circuit of the respective pixel is arranged, which is intended to the respective pixel 12 for example, to reset and / or read it out to accumulate light therebetween which is incident on the part 14 of the respective pixel. The irregular variation can also be due to other layout differences between the pixels 12 be achieved. For example, corresponding holes define in an opaque layer above the pixels 12 the photosensitive part 16 the pixel 12 , In this case, the overlapping area defined from the actual photosensitive area of the respective pixel, where, for example, a space charge zone or drift and / or diffusion zone, and the opening in the aforementioned, in 1 but not shown opaque layer the photosensitive areas 14 or the boundary between the same and the insensitive parts 16 , It is also noted that it is not essential that the parts 14 and 16 are connected. In accordance with this possibility, the term "photosensitive part" below refers to that part of a pixel in which the actual conversion of photons into electrical charge carriers takes place, whereas under the term "sensitive part" the area fraction of a pixel 12 should be understood, which is effectively available for the charge accumulation and, for example, once again reduced in size compared to the photosensitive part, by the latter is partially shaded or foreclosed.
Wie es in 1 gezeigt ist, kann es sein, dass der Bildsensor 10 einen Zeilendecoder 16 zum Ansteuern von Zeilenleitungen der Pixel 12 aufweist, um die Pixel 12 zeilenweise zurückzusetzen und anschließend zeilenweise mit entsprechenden Spaltenleitungen, die in Spaltenrichtung verlaufen, zu verbinden, sowie eine Spaltenausleseschaltung 18 mit beispielsweise einem Leseverstärker pro Spaltenleitung, um den jeweiligen Akkumulationswert des Pixels an der jeweiligen Spaltenleitung in der aktuell angesteuerten Zeilenleitung auszulesen, wobei, wie es in 1 gezeigt ist, sich an jeden Ausleseverstärker jeder Spaltenleitung ein jeweiliger A/D-Wandler 20 anschließen kann. Für das Ausführungsbeispiel von 1 ist allerdings die genaue Ansteuerung bzw. Adressierung der Pixel und die genaue Art des Auslesens nicht relevant und sie könnte somit auch anders ausgeführt sein, als es in 1 angedeutet worden ist.As it is in 1 shown, it may be that the image sensor 10 a row decoder 16 for driving row lines of the pixels 12 has to the pixels 12 reset line by line and then line by line with corresponding column lines extending in the column direction, and a column read-out circuit 18 with, for example, one sense amplifier per column line, for the respective accumulation value of the pixel at the respective column line in the currently addressed row line read, as it is in 1 2, a respective A / D converter is shown at each sense amplifier of each column line 20 can connect. For the embodiment of 1 However, the exact control or addressing of the pixels and the exact nature of the reading is not relevant and it could therefore be carried out differently than it is in 1 has been indicated.
In 1 entspricht nun exemplarisch die örtliche Zusammensetzung der Pixelfläche jedes Pixels einer aus vier möglichen Zusammensetzungen, wobei gemäß jeder der vier möglichen Zusammensetzungen der empfindliche Teil 14 einen Quadranten der zugeordneten Pixelfläche des jeweiligen Pixels 12 einnimmt und der jeweils andere nichtempfindliche Teil 16 die anderen drei Quadranten der zugeordneten Pixelfläche einnimmt. Dies ist natürlich nur exemplarisch und lässt sich auch genau umkehren, so dass der empfindliche Teil 14 jeweils drei Quadranten einnimmt und umgekehrt der nichtempfindliche Teil nur jeweils auf einen Quadranten eingeschränkt ist. Weitere Verallgemeinerungsmöglichkeiten werden im Folgenden erörtert. Zuvor jedoch soll anhand des einfachen Beispiels von 1 der Vorteil beschrieben werden, der sich aus der Beschaffenheit des Bildsensors ergibt, wie er in 1 dargestellt ist.In 1 Now, by way of example, the local composition of the pixel area of each pixel corresponds to one of four possible compositions, wherein according to each of the four possible compositions, the sensitive part 14 a quadrant of the associated pixel area of the respective pixel 12 and the other non-sensitive part 16 the other three quadrants occupy the associated pixel area. This is of course only exemplary and can be reversed exactly, so the sensitive part 14 occupies three quadrants and vice versa, the non-sensitive part is limited to only one quadrant. Further generalizations are discussed below. Before that, however, the simple example of 1 the advantage that results from the nature of the image sensor, as in 1 is shown.
Wird mit dem Bildsensor 10 von 1 eine Bildaufnahme durchgeführt, so liefert der Bildsensor 10 pro Pixel 12 einen Akkumulationswert, der der akkumulierten Strahlungsenergie in dem empfindlichen Teil 14 der Pixelfläche 12 entspricht. Da die örtliche Zusammensetzung der Pixelflächen der Pixel 12 stets eine Aufteilung in Quadranten vorsieht, entsprechen die Akkumulationsorte bzw. die Abtastorte des Bildes einem unregelmäßigen Raster auf einem regelmäßigen Array von Zeilen und Spalten, das eine doppelt so große Auflösung besitzt wie das Pixelarray der Pixel 12. In 1 ist dies mit gestrichelten Linien angedeutet, die das Array aus Pixeln 12 nochmals in viermal so viele Positionen unterteilt, von denen in dem exemplarischen Beispiel von 1 ein Viertel den empfindlichen Teilen 14 der Pixel 12 entsprechen. Aufgrund der unregelmäßigen Variation der Lage des empfindlichen Teils 14 innerhalb jedes Pixels 12 ist es nun möglich, aus den Akkumulations- bzw. Pixelwerten der empfindlichen Teile 14, wie sie beispielsweise durch Digitalisierung durch die Wandler 20 erhalten werden, durch Interpolation das Bild in einer Auflösung zu erhalten, die der erhöhten Auflösung der Unterteilung der Pixelflächen in die Quadranten entspricht. Die Übertragungsfunktion, die durch die Lage der lichtempfindlichen Teile 14 definiert wird, besitzt keine Nullstellen. Zudem ist es möglich ein niederaufgelöstes Bild mit der Auflösung des Pixelarrays selbst zu erhalten, indem einfach die Pixelwerte selbst genommen und entsprechend den regelmäßigen Positionen der Pixel selbst angeordnet werden.Used with the image sensor 10 from 1 a picture taken, the picture sensor delivers 10 per pixel 12 an accumulation value, that of the accumulated radiant energy in the sensitive part 14 the pixel area 12 equivalent. Because the local composition of the pixel areas of the pixels 12 always providing quadrants, the accumulation loci of the image correspond to an irregular raster on a regular array of rows and columns that is twice as large as the pixel array of the pixels 12 , In 1 this is indicated by dashed lines, which is the array of pixels 12 again divided into four times as many positions, of which in the exemplary example of 1 a quarter of the sensitive parts 14 the pixel 12 correspond. Due to the irregular variation of the location of the sensitive part 14 within each pixel 12 it is now possible from the accumulation or pixel values of the sensitive parts 14 as exemplified by digitization through the transducers 20 obtained by interpolation, the image in a resolution corresponding to the increased resolution of the division of the pixel areas in the quadrant. The transfer function, due to the location of the photosensitive parts 14 is defined does not have zeros. In addition, it is possible to obtain a low-resolution image with the resolution of the pixel array itself by simply taking the pixel values themselves and arranging them according to the regular positions of the pixels themselves.
2 zeigt beispielsweise eine Kombination des Bildsensors 10 mit einem Bildrekonstruierer 22, die zusammen Teil eines Bildaufnahmesystems 24 sind. Der Bildsensor 10 ist ausgebildet, um pro Bildaufnahme die Akkumulationswerte der empfindlichen Teile 14 der Pixelflächen der Pixel 12 an den Bildrekonstruierer 22 auszugeben, der daraufhin die Tatsache ausnutzt, dass die empfindlichen Teile 14 über das Pixelarray hinweg unregelmäßig verteilt sind, indem der Bildrekonstruierer 22 eine Interpolation durchführt, um das Bild mit einer Auflösung abzutasten, die mehr als einen Bildpunkt pro Pixel 12 ergibt, wie z. B. vier Abtastpunkte für jedes Pixel 12, nämlich einen Abtastwert pro Quadrant des jeweiligen Pixels 12. Die Interpolation wird deshalb begünstigt, weil aufgrund der Unregelmäßigkeit der Variation der Position des empfindlichen Teils 14 innerhalb der jeweiligen Pixelfläche die Übertragungsfunktion, wie sie durch die binäre Abtastung des Bildes durch die empfindlichen und unempfindlichen Teile 14 und 16 definiert wird, in der Ortsfrequenzdomäne keine Nullstellen aufweist. Für ein Vorschaubild kann der Bildrekonstruierer die Pixelwerte der Pixel einfach 1:1 als ein regelmäßiges Bild mit der Auslösung des Pixelarrays ausgeben, ohne dass eine Interpolation erforderlich wäre. 2 shows, for example, a combination of the image sensor 10 with a picture reconstructor 22 , which together form part of an image acquisition system 24 are. The image sensor 10 is designed to record the accumulation values of the sensitive parts per image acquisition 14 the pixel areas of the pixels 12 to the image reconstructor 22 which then exploits the fact that the sensitive parts 14 are irregularly distributed across the pixel array by the image reconstructor 22 performs an interpolation to scan the image at a resolution greater than one pixel per pixel 12 results, such. For example, four sample points for each pixel 12 namely one sample per quadrant of the respective pixel 12 , The interpolation is favored because of the irregularity of the variation of the position of the sensitive part 14 within the respective pixel area, the transfer function, as determined by the binary scanning of the image through the sensitive and insensitive parts 14 and 16 is defined in the spatial frequency domain has no zeros. For a preview image, the image reconstructor can simply output the pixel values of the pixels 1: 1 as a regular image with the pixel array triggered, without the need for interpolation.
In den Ausführungsbeispielen von 1 und 2 wird noch auf Folgendes hingewiesen. Die vorerwähnten Pixel 12 können beispielsweise jeweils einen oder mehrere pn-Übergänge aufweisen, die ausgebildet sind, um Raumladungszonen erzeugen zu können, in welchen Photonen in freie Ladungen umgesetzt werden können, die dann in jedem Pixel akkumuliert werden, um am Ende des Belichtungszeitfensters ausgelesen und gegebenenfalls digitalisiert zu werden. Die genaue Art des Pixelsensors pro Pixel 12 ist nicht festgeschrieben. Wie es im Folgenden noch beschrieben wird, kann es sich beispielsweise um geeignete Formen von Photodioden handeln. Vorzugsweise ist das Pixelarray des Bildsensors 10 in einem Chip integriert. In dem gleichen Chip können der vorerwähnte Zeilendecoder 16 und die Ausleseschaltung 18 und die A/D-Wandler 20 integriert sein. Auch der Bildrekonstruierer 22 könnte auf dem gleichen Chip integriert sein wie der Bildsensor 10. Der Bildrekonstruierer 22 kann aber insbesondere auch extern zu dem Bildsensor in Form einer Software, einer Programmiererlogik oder in Form einer Hardware, wie z. B auf einer Platine, implementiert sein. Die Interpolation, die der Bildrekonstruierer 22 durchführt, kann ein FIR-, ein IR- oder ein Gemischt-FIR/IR-Filter oder dergleichen umfassen.In the embodiments of 1 and 2 is still pointed to the following. The aforementioned pixels 12 For example, each may have one or more pn junctions formed to create space charge zones in which photons may be converted into free charges, which are then accumulated in each pixel to be read out and optionally digitized at the end of the exposure time window , The exact type of pixel sensor per pixel 12 is not committed. As will be described below, they may, for example, be suitable forms of photodiodes. Preferably, the pixel array of the image sensor 10 integrated in a chip. In the same chip, the aforementioned row decoder can 16 and the readout circuit 18 and the A / D converter 20 be integrated. Also the image reconstructor 22 could be integrated on the same chip as the image sensor 10 , The image reconstructor 22 but in particular also externally to the image sensor in the form of software, a programmer logic or in the form of hardware such. B on a board, be implemented. The interpolation that the image reconstructor 22 may comprise a FIR, an IR or a mixed FIR / IR filter or the like.
Es wird darauf hingewiesen, dass es nicht unbedingt notwendig ist, dass der Bildrekonstruierer 22 das Bild an Positionen durch Interpolation rekonstruiert, die unter anderem auch die Positionen umfassen, an denen die eigentlichen Akkumulationswerte der empfindlichen Teile 14 erhalten worden sind, bzw. dass es nicht unbedingt notwendig ist, dass die Auflösung des interpolierten Bildes ein ganzzahliges Vielfaches der Auflösung des Pixelarrays beträgt, wie z. B. die vierfache Auflösung in dem vorerwähnten Beispiel der Platzierung der empfindlichen Teile 14 in jeweils einem Quadranten der Pixelflächen der Pixel 12. Die Interpolationspunkte, an denen der Bildrekonstruierer 22 die Interpolation durchführt, können auch in einem Array angeordnet sein, das völlig unabhängig von den Pixelorten des Pixelarrays gewählt ist. It should be noted that it is not absolutely necessary for the image reconstructor 22 the image is reconstructed at positions by interpolation, which include, among other things, the positions at which the actual accumulation values of the sensitive parts 14 or that it is not absolutely necessary that the resolution of the interpolated image is an integer multiple of the resolution of the pixel array, such. Example, the fourfold resolution in the aforementioned example of the placement of the sensitive parts 14 in each case one quadrant of the pixel areas of the pixels 12 , The interpolation points at which the image reconstructor 22 The interpolation may also be arranged in an array that is completely independent of the pixel locations of the pixel array.
Obwohl im Vorhergehenden nicht detailliert darauf eingegangen worden ist, wird darauf hingewiesen, dass unterschiedliche Möglichkeiten dafür bestehen, oben erwähnte Unregelmäßigkeit über das Pixelarray hinweg, bezogen auf die örtliche Zusammensetzung der Pixelflächen, zu realisieren. Wie bereits erwähnt, ist die Unregelmäßigkeit dazu da, die Nullstellen in der Übertragungsfunktion zu vermeiden, die sich durch Abtastung des Bildes an den empfindlichen Teilen 14 der Pixelflächen der Pixel 12 ergibt. In dieser Hinsicht muss die Unregelmäßigkeit nicht global über das gesamte Pixelarray bestehen. Vielmehr ist eine lokale Unregelmäßigkeit über das Pixelarray hinweg ausreichend. Beispielsweise ist eine Autokorrelationsfunktion einer binären Funktion, wie sie durch die Verteilung von empfindlichen und unempfindlichen Teilen 14 und 16 definiert wird, nur in einem Bereich um die Nullstelle herum, wie z. B. bis zu gegenseitigen Verschiebungen von weniger als vier Pixelmittenabständen oder sogar nur drei Pixelmittelabständen kleiner als 0,5. In anderen Worten ausgedrückt, die Korrelation der örtlichen Zusammensetzung zweier Pixel ist möglicher Weise nur in einer nahen Nachbarschaft zueinander Null oder klein oder kleiner 0,5, wohingegen das Muster der örtlichen Zusammensetzung über das Pixelarray hinweg in größeren Abständen Wiederholungen aufweisen kann. Diese Wiederholungen stören die Interpolierbarkeit nicht, da Bildregionen mit einem größeren Abstand häufig keinen inhaltlichen Zusammenhang haben und für eine Interpolation wenig beitragen. Eine Bildrekonstruktion wird daher nur Bildpunkte einer näheren Umgebung in die Rekonstruktion mit einbeziehen.Although not discussed in detail above, it is noted that there are various possibilities for realizing the above-mentioned irregularity across the pixel array with respect to the local composition of the pixel areas. As already mentioned, the irregularity is to avoid the zeros in the transfer function that result from scanning the image at the sensitive parts 14 the pixel areas of the pixels 12 results. In this regard, the irregularity need not exist globally across the entire pixel array. Rather, a local irregularity across the pixel array is sufficient. For example, an autocorrelation function is a binary function, such as the distribution of sensitive and insensitive parts 14 and 16 is defined, only in an area around the zero point, such. Up to mutual shifts of less than four pixel center distances or even only three pixel center distances less than 0.5. In other words, the correlation of the local composition of two pixels may be zero or less or less than 0.5 only in close proximity to each other, whereas the pattern of local composition across the pixel array may have repeats at longer intervals. These repetitions do not disturb the interpolability, since image regions with a larger distance often have no contextual connection and contribute little to an interpolation. An image reconstruction will therefore only include pixels of a closer environment in the reconstruction.
Wie es im Vorhergehenden aber angedeutet ist, ist es praktisch, wenn die möglichen Zusammensetzungen der Pixelflächen aus einem empfindlichen und einem unempfindlichen Teil 14 bzw. 16 auf Auswahlen von einem oder mehreren Arraybereichen einer regelmäßigen, Zeilen und Spalten aufweisenden Arrayunterteilung beschränkt ist, wie z. B. eben eine Aufteilung in zwei Zeilen und zwei Spalten pro Pixel, wie es in 1 dargestellt ist. Jedes Pixel kann aber, anders als in 1 dargestellt, auch in andere Anzahlen von Zeilen und Spalten unterteilt werden und vor allem auch in eine unterschiedliche Anzahl in Spalten- und Zeilenrichtung. Die Akkumulation kann pro Pixel über einen oder mehrere der so zur Verfügung stehenden Arraybereiche durchgeführt werden. Es ist insbesondere nicht notwendig, dass, wie in 1 dargestellt, die Akkumulation in jedem Pixel über die gleiche Anzahl an Arraybereichen durchgeführt wird, wie z. B. nur in einem Quadranten, wie es in 1 der Fall war. Die Anzahl kann vielmehr auch unterschiedlich sein. In diesem Fall wird der so entstehende Empfindlichkeitsunterschied zwischen den Pixeln aufgrund der unterschiedlichen Anzahl an zur Akkumulation zur Verfügung stehenden Arraybereichen beispielsweise durch anschließende Division bzw. Multiplikation mit einem Gewichtungsfaktor berücksichtigt, der die einzelnen Akkumulationswerte wieder auf gleiches Niveau bringt. Die Akkumulationswerte, die aus zwei Quadranten erhalten werden, würden beispielsweise durch 2 dividiert werden, um mit den Akkumulationswerten zu harmonieren, die durch Akkumulation durch lediglich einen Quadranten ermittelt worden sind. Wie gesagt, muss die Auswahl der Arraybereiche nur eines einzelnen Pixels auch nicht so gestaltet sein, dass der entstehende empfindliche Teil 14 einfach zusammenhängend ist. Dasselbe gilt für den nichtempfindlichen Teil 16. Beide können gleichzeitig oder alternativ auch in getrennte Bereiche unterteilt sein.As indicated above, however, it is convenient if the possible compositions of the pixel areas consist of a sensitive and an insensitive part 14 respectively. 16 is limited to selections of one or more array areas of a regular array, row, and column array such B. just a division into two lines and two columns per pixel, as in 1 is shown. Each pixel, however, can be different than in 1 shown, are also divided into other numbers of rows and columns, and especially in a different number in column and row direction. The accumulation can be performed per pixel over one or more of the available array areas. In particular, it is not necessary that, as in 1 shown, the accumulation is performed in each pixel over the same number of array areas, such. B. only in a quadrant, as it is in 1 the case was. The number can also be different. In this case, the resulting sensitivity difference between the pixels due to the different number of available array areas for accumulation, for example, by subsequent division or multiplication is taken into account with a weighting factor, which brings the individual accumulation values back to the same level. For example, the accumulation values obtained from two quadrants would be divided by 2 to match the accumulation values determined by accumulation by only one quadrant. As already mentioned, the selection of the array areas of only a single pixel need not be such that the resulting sensitive part 14 simply connected. The same applies to the non-sensitive part 16 , Both can be divided simultaneously or alternatively into separate areas.
Der Bildrekonstruierer 22 ist entsprechend angepasst, um die örtlichen Zusammensetzungen der Pixelflächen aus empfindlichen und nichtempfindlichen Teilen 14 bzw. 16 bei der Interpolation zu berücksichtigen. Wie es aus der vorhergehenden Beschreibung hervorgeht, kann die örtliche Zusammensetzung für die Pixel 12 für alle Bildaufnahmen gleich sein, indem sie durch das Layout festgelegt ist, so dass der Bildinterpolationsalgorithmus, wie er von dem Bildrekonstruierer 22 ausgeführt wird, für alle Bildaufnahmen identisch sein kann.The image reconstructor 22 is suitably adapted to the local compositions of the pixel areas of sensitive and non-sensitive parts 14 respectively. 16 to be considered in the interpolation. As is apparent from the foregoing description, the local composition for the pixels 12 be the same for all image captures by being determined by the layout, so that the image interpolation algorithm, as used by the image reconstructor 22 is executed, can be identical for all image captures.
Abschließend soll nochmals darauf hingewiesen werden, dass es bei den vorhergehenden Ausführungsbeispielen von 1 und 2 praktisch sein kann, wenn diese Pixelfläche nochmals in ein regelmäßiges Array aus Zeilen und Spalten unterteilt wird, dann nämlich, wenn jedes Unterteilungsarray für jedes Pixel gleich ist und das so entstehende höherauflösende Array jede Zeile des Pixelarrays und/oder jede Spalte des Pixelarrays in zwei oder mehr weitere unterteilt und als Basis für die Interpolationsabtastung durch den Rekonstruierer 22 dient.Finally, it should be pointed out again that in the previous embodiments of 1 and 2 can be practical if this pixel area is again subdivided into a regular array of rows and columns, namely, if each subdivision array is the same for each pixel, and the resulting higher resolution array divides each line of the pixel array and / or column of the pixel array into two or three more further subdivided and used as the basis for interpolation sampling by the reconstructor 22 serves.
Obige Ausführungsbeispiele umfassten also unter anderem Ausführungsbeispiele, bei denen eine örtliche Auflösungsverbesserung durch Randomisierung durch Lichtabschirmung erzielt wird. Als Grundlage kann ein regelmäßiges Pixelarray dienen, bei dem jedes Pixel an einem regulären Gitterplatz positioniert ist, wie es beispielsweise in 3a gezeigt ist. Um eine Unregelmäßigkeit zu erzielen, wäre es alternativ zu den Ausführungsbeispielen der vorliegenden Anmeldung möglich, jedes Pixel 12 ein bisschen zu versetzen, um eine nichtregelmäßige Abtastung zu erzielen. Dieser Fall ist in 3b dargestellt. Allerdings ist zur Herstellung von Bildsensoren eine Anordnung von Pixeln, wie sie in 3b gezeigt ist, nicht möglich und praktikabel. Among other embodiments, the above exemplary embodiments therefore include embodiments in which a local resolution improvement is achieved by randomization by light shielding. As a basis, a regular pixel array can be used in which each pixel is positioned at a regular grid location, such as in 3a is shown. In order to achieve an irregularity, it would be possible, as an alternative to the embodiments of the present application, each pixel 12 a bit to get a non-regular scan. This case is in 3b shown. However, for the production of image sensors, an array of pixels as shown in FIG 3b shown is not possible and workable.
Gemäß einigen Ausführungsbeispielen wird deshalb ein Teil der Pixel 12 vor Licht abgeschirmt, indem eine zusätzliche „Abdeckung” oberhalb des Pixelarrays verwendet wird. Diese „Abdeckung” kann durch eine entsprechende Schicht oberhalb der jeweiligen Pixelfläche realisiert werden.Therefore, according to some embodiments, part of the pixels becomes 12 shielded from light by using an additional "cover" above the pixel array. This "cover" can be realized by a corresponding layer above the respective pixel area.
3c zeigt dies noch einmal exemplarisch auf eine ähnliche Art und Weise, wie es in 1 der Fall war. Die „Abdeckung” kann beispielsweise in Form einer Beschichtung mittels eines opaken Materials geschehen. Die „Abdeckung” kann auch auf Mikrolinsen aufgebracht sein, die sich in Lichteintrittsrichtung vor den Pixelflächen, den Pixeln einzeln zugeordnet, befinden können. 3e und 3f zeigen exemplarisch zwei Querschnittansichten dreier benachbarter Pixel 12, wobei in dem Fall von 3e eine ebene Schicht 26 geeignet strukturiert ist, um durch Öffnungen 28 in derselben die empfindlichen Bereiche 14 zu definieren, nämlich als Überlappung der Öffnung 28 mit dem jeweiligen photoempfindlichen Teil 30 des jeweiligen Pixels 12, wobei 3f die Schicht 26 zeigt, wie sie auf entsprechenden Mikrolinsen 32 vorgesehen ist, die dazu vorgesehen sind, Licht auf den photosensitiven Teil 30 der einzelnen Pixel 12 zu fokussieren. 3c shows this once more exemplarily in a similar way, as it is in 1 the case was. The "cover" can be done for example in the form of a coating by means of an opaque material. The "cover" can also be applied to microlenses, which can be located in the light entry direction in front of the pixel surfaces, individually assigned to the pixels. 3e and 3f show by way of example two cross-sectional views of three adjacent pixels 12 , in which case of 3e a flat layer 26 is suitably structured to pass through openings 28 in the same the sensitive areas 14 to define, namely as an overlap of the opening 28 with the respective photosensitive part 30 of the respective pixel 12 , in which 3f the layer 26 shows how they look on corresponding microlenses 32 is provided, which are intended to light on the photosensitive member 30 the single pixel 12 to focus.
Wie auch in dem Fall von 1 ergibt die Abtastung aus 3c eine dünne Besetzung mit Abtastpunkten, bei der lediglich 1/4 der Gesamtfläche des Pixelarrays für die Lichtakkumulation zur Verfügung steht. Es entsteht aber, wie es im Vorhergehenden beschrieben worden ist, eine nichtregelmäßige Abtastung bzw. eine Abtastung in einem nichtregelmäßigen Gitter. Aufgrund der Abschirmung eines Teil der photosensitiven Fläche 30 geht allerdings ein wenig der zur Verfügung stehenden Empfindlichkeit des Pixelarrays verloren. 3d stellt den bereits im Vorhergehenden erwähnten alternativen Fall dar, bei dem lediglich 1/4 der zur Verfügung stehenden Pixelfläche der einzelnen Pixel 12 maskiert bzw. abgeschirmt ist, wohingegen der größere Teil der Empfindlichkeit des Pixelarrays erhalten bleibt. Mittels der Abschirmung ist es möglich, zur Umsetzung der Ausführungsbeispiele von 1–3 als Grundlage Bildsensoren mit Pixelarrays von der Stange zu verwenden, also nicht-proprietäre Bildsensoren, da die vielen Pixel in ihrer Struktur nicht weiter beeinflusst werden. Lediglich das Strukturieren der Abschirmungsschicht 26 ist notwendig. Ein leichter Nachteil bei dieser Vorgehensweise ist allerdings der Nachteil im Hinblick auf die verlorengegangene Sensitivität aufgrund des reduzierten Füllfaktors.As in the case of 1 returns the sample 3c a thin sample of sample points, where only 1/4 of the total area of the pixel array is available for light accumulation. However, as previously described, non-regular sampling occurs in a non-regular grid. Due to the shielding of part of the photosensitive surface 30 However, a little of the available sensitivity of the pixel array is lost. 3d represents the alternative case already mentioned above, in which only 1/4 of the available pixel area of each pixel 12 is masked, whereas the greater part of the sensitivity of the pixel array is preserved. By means of the shield, it is possible to implement the embodiments of 1 - 3 as a basis to use image sensors with pixel array off the shelf, so non-proprietary image sensors, since the many pixels are not affected in their structure. Only the structuring of the shielding layer 26 is necessary. A slight disadvantage of this procedure, however, is the disadvantage in terms of the lost sensitivity due to the reduced fill factor.
Einige Ausführungsbeispiele sehen deshalb auch eine Alternative vor, wonach eine Randomisierung des Pixellayouts vorgenommen worden ist. Es wird bei diesen Ausführungsbeispielen ausgenutzt, dass in der Praxis meistens jedes einzelne Pixel aus zwei Teilen besteht, nämlich einem bestimmten, vorzugsweise größeren Flächenanteil, der für Licht empfindlich ist, nämlich dem im Vorhergehenden erwähnten photosensitiven Teil 30, und einem kleineren Bereich, der die Ansteuerelektronik enthält. Abhängig von dem jeweiligen Pixeldesign können die Ansteuerschaltungsteile in unterschiedlichen Muster angeordnet werden, wie es in 4a gezeigt ist. In 4a zeigt das Bezugszeichen 30 jeweils den photosensitiven Flächenanteil an, während das Bezugszeichen 34 jeweils den für die Ausleseschaltung des jeweiligen Pixels vorgesehenen Flächenanteil anzeigt. Gemäß einiger der obigen Ausführungsbeispiele wird nun nicht nur ein einziges Pixellayout bzw. eine einzige örtliche Zusammensetzung aus den Teilen 30 und 34 für die Pixel 12 verwendet, sondern unterschiedliche Pixellayouts für das Pixelarray, wie z. B. vier unterschiedliche Pixellayouts, wie es bei den Ausführungsbeispielen gemäß 1, 3c und 3d der Fall war, oder sogar noch mehr, wodurch durch geeignete unregelmäßige Anordnung eine Randomisierung erzielt werden kann, durch die Vorteile erreicht werden, wie sie im Vorhergehenden beschrieben worden sind. Bei den Ausführungsbeispielen von 1, 3c und 3d sind sich die vier Layouts für die Pixel 12 sehr ähnlich, indem die photosensitiven Bereiche 30 lediglich in unterschiedlichen Ecken des Pixelbereichs der Pixel positioniert werden, wie es exemplarisch auch in 4b gezeigt ist. Diese Ausführungsbeispiele erhöhen zwar den Aufwand zur Konstruktion eines entsprechenden Bildsensors, aber dafür wird dabei die Gesamteffizienz, wie z. B. hinsichtlich des Füllfaktors, nicht gegenüber einer üblichen Pixelarrayrealisierung mit lediglich einem einzigen Pixellayout für die Pixel beeinträchtigt.Therefore, some embodiments also provide an alternative, where randomization of the pixel layout has been done. It is exploited in these embodiments that in practice usually each individual pixel consists of two parts, namely a certain, preferably larger surface portion, which is sensitive to light, namely the aforementioned photosensitive part 30 , and a smaller area that contains the control electronics. Depending on the particular pixel design, the drive circuit parts may be arranged in different patterns as shown in FIG 4a is shown. In 4a shows the reference numeral 30 in each case the photosensitive surface portion, while the reference numeral 34 in each case indicates the area proportion provided for the read-out circuit of the respective pixel. In accordance with some of the above embodiments, not only a single pixel layout but a single local composition of the parts will now be described 30 and 34 for the pixels 12 used, but different pixel layouts for the pixel array, such. B. four different pixel layouts, as in the embodiments according to 1 . 3c and 3d the case was, or even more, whereby randomization can be achieved by suitable irregular arrangement, which achieves advantages as described above. In the embodiments of 1 . 3c and 3d are the four layouts for the pixels 12 very similar by the photosensitive areas 30 be positioned only in different corners of the pixel area of the pixels, as exemplified in 4b is shown. Although these embodiments increase the cost of constructing a corresponding image sensor, but this is the overall efficiency, such. With respect to the fill factor, not to conventional pixel array realization with only a single pixel layout for the pixels.
Wie auch bei allen anderen Ausführungsbeispielen kann die Anzahl der Pixel des Bildsensors größer 100, bevorzugt bedeutend größer als 100, sein, wie z. B. größer als ein 10·10 Pixelarray. Über diese Arraygröße hinweg können obige und unten folgende Angaben bezüglich Eigenschaften des Arrays, wie z. B. Korrelationsangaben und der gleichen gelten.As with all other embodiments, the number of pixels of the image sensor may be greater than 100, preferably significantly greater than 100, such. Larger than a 10x10 pixel array. About this array size, the above and below the following information on properties of the array, such as. B. correlation information and the same apply.
Nachfolgend wird Bezug nehmend auf 5 ein weiteres Ausführungsbeispiel für einen Bildsensor beschrieben. Der Bildsensor umfasst, wie es in 5 gezeigt ist, eine zweidimensionale Verteilung von Pixeln 12, die, wie es in 5 gezeigt ist, eine Anordnung in Zeilen und Spalten sein kann, ebenso, wie es in 1 der Fall war, wobei aber gemäß dem Ausführungsbeispiel von 5 auch andere unregelmäßige Pixelanordnungen denkbar wären, wie sie beispielsweise in 3b gezeigt waren. Gemäß dem Ausführungsbeispiel von 5 können die Pixel 12 ein über das Pixelarray unregelmäßig variierendes Pixellayout aufweisen, d. h. eine über das Pixelarray unregelmäßig variierende Zusammensetzung aus empfindlichem und unempfindlichem bzw. photosensitivem und Ansteuerschaltungsteil, oder aber ein für alle Pixel gemeinsames einziges Pixellayout. Subsequently, reference will be made to 5 describes a further embodiment of an image sensor. The image sensor includes, as it is in 5 shown is a two-dimensional distribution of pixels 12 that, as it is in 5 shown is an arrangement in rows and columns, as well as in 1 the case was, but according to the embodiment of 5 Other irregular pixel arrangements would be conceivable, as they are for example in 3b were shown. According to the embodiment of 5 can the pixels 12 an irregularly varying pixel layout over the pixel array, ie an irregularly varying composition of sensitive and insensitive or photosensitive and control circuit part over the pixel array, or a single pixel layout common to all pixels.
Der Bildsensor 10 von 5 kann ähnlich wie die Elemente 18 und 20 aus 1 realisiert sein, gegebenenfalls zusammen mit einem entsprechenden Zeilendecoder 16, aber eine andere Realisierung ist ebenfalls denkbar. Jedenfalls ist der Bildsensor von 5 ausgebildet, um jedes Pixel 12 jeweils in einem einer Mehrzahl von aufeinanderfolgenden Zyklen 38 mit der Ausleseschaltung 36 zu verbinden, derart, dass an jedem der Mehrzahl von aufeinanderfolgenden Zyklen eine jeweilige Teilmenge der Pixel 12 des Pixelarrays des Bildsensors 10 mit der Ausleseschaltung 36 verbunden ist, um für jedes mit der Ausleseschaltung verbundene Pixel 12 einen Pixelwert zu erhalten, wobei die Teilmengen disjunkt zueinander sind und jeweils Pixel umfassen, die über die zweidimensionale Verteilung von Pixeln 12 hinweg unregelmäßig verteilt sind. In 5 ist exemplarisch eine Möglichkeit dargestellt, wie jedes der Pixel 12 eindeutig einer der Teilmengen zugeordnet sein kann, und zwar für ein Beispiel mit vier Teilmengen, wobei die Zuordnung dadurch veranschaulicht ist, dass eine jeweilige Ziffer zwischen 1 und 4 einschließlich in dem jeweiligen Pixel 12 des Pixelarrays eingeschrieben ist. Auch bei diesem Ausführungsbeispiel bezieht sich die Unregelmäßigkeit über das Pixelarray hinweg nicht auf eine globale Korrelation. Als Korrelationsmaß kann, wie auch bei den vorhergehend sowie noch nachfolgend beschriebenen Ausführungsbeispielen die Autokorrelation dienen.The image sensor 10 from 5 can be similar to the elements 18 and 20 out 1 be realized, optionally together with a corresponding row decoder 16 but another realization is also conceivable. Anyway, the image sensor of 5 trained to every pixel 12 each in one of a plurality of consecutive cycles 38 with the readout circuit 36 such that at each of the plurality of consecutive cycles, a respective subset of the pixels 12 the pixel array of the image sensor 10 with the readout circuit 36 is connected to each pixel connected to the readout circuit 12 to obtain a pixel value, the subsets being disjoint to one another and each including pixels that are above the two-dimensional distribution of pixels 12 are distributed irregularly. In 5 By way of example, one possibility is shown, like each of the pixels 12 may be uniquely associated with one of the subsets, for an example with four subsets, the mapping being illustrated by having a respective digit between 1 and 4 inclusive in the respective pixel 12 of the pixel array is inscribed. Also in this embodiment, the irregularity across the pixel array does not refer to a global correlation. As correlation measure can serve as in the previous and described below embodiments, the autocorrelation.
Die Autokorrelationsfunktion diskreter Verschiebungen der zu einer bestimmten Teilmenge gehörenden Gitterplätze beträgt beispielsweise exemplarisch nur für einen lokal begrenzten Bereich, der beispielsweise kleiner als 5 Zeilen und/oder Spalten des Pixelarrays ist, weniger als 0,5, kann aber ansonsten auch deutlich darüber liegen bzw. Wiederholungen in größeren Abständen aufweisen. Der Zusatz „über das Pixelarray hinweg” deutet an, dass die pro Zyklus 38 aufgenommenen bzw. mit der Ausleseschaltung 36 verbundenen Pixel 12 im Rahmen der Unregelmäßigkeit über das Pixelarray hinweg verteilt sind. Auf diese Weise wird pro Zyklus 38 eine dünn besetzte Abtastung eines Bildes erhalten, und zwar so viel dünn besetzte Abtastungen mit der Auflösung des Pixelarrays, wie es Zyklen gibt. Diese dünn besetzten Teilbilder sind in 5 mit dem Bezugszeichen 40 angezeigt. Es ergibt sich ein dünn besetztes Teilbild 40 pro Zyklus 38. Eine gewisse Anzahl aufeinanderfolgender Zyklen ergibt beispielsweise ein Frame 42, in welchem jedes der Pixel 12 genau einmal mit der Ausleseschaltung 36 verbunden ist. Mit wiederum anderen Worten ausgedrückt, kann der Bildsensor 10 so ausgebildet sein, dass in einem Frame 42 jedes Pixel jeweils genau in einem der aufeinanderfolgenden Teilzyklen 38, die das jeweilige Frame 42 zergliedert ist, mit der Ausleseschaltung 36 verbunden ist.By way of example, the autocorrelation function of discrete displacements of the grid locations belonging to a specific subset is only less than 0.5 for a locally limited area, which is smaller than 5 lines and / or columns of the pixel array, for example. Have repetitions at greater intervals. The addition "across the pixel array" indicates that per cycle 38 recorded or with the readout circuit 36 connected pixels 12 are distributed across the pixel array as part of the irregularity. That way, every cycle 38 get a sparse sample of an image, as many sparse samples as the resolution of the pixel array, as there are cycles. These sparse subjects are in 5 with the reference number 40 displayed. The result is a sparse field 40 per cycle 38 , For example, a certain number of consecutive cycles results in one frame 42 in which each of the pixels 12 exactly once with the readout circuit 36 connected is. In other words, the image sensor can 10 be so designed that in a frame 42 each pixel exactly in one of the consecutive sub-cycles 38 that the respective frame 42 is dissected, with the readout circuit 36 connected is.
Aufgrund der Unregelmäßigkeit der Verteilung der zu jedem Zyklus gehörenden Pixel, die mit der Ausleseschaltung 36 in diesem Zyklus verbunden werden, ist es nun aber möglich, aus den dünn besetzten Teilbildern 14 durch Interpolation Bilder mit einem regelmäßigen Raster von Abtastpunkten zu erzeugen, die mehr Abtastpunkte als in dem jeweiligen Zyklus mit der Ausleseschaltung 36 verbundene Pixel aufweisen. Der Bildsensor von 5 kann beispielsweise, wie in 2 gezeigt, Teil eines Bildaufnahmesystems sein, um dort einem Bildrekonstruierer 22 vorgeschaltet zu sein, der dann die Teilbilder 40 durch Interpolation 42 in die höherauflösenden Bilder 44 überführt, so dass das Bildaufnahmesystem insgesamt in der Lage ist, pro Zyklus 38 ein solches Hochauflösungsbild 44 auszugeben, wobei die Auflösung dieser Hochauflösungsbilder 44 beispielsweise der Auflösung des Pixelarrays der Pixel 12 des Bildsensors 10 selbst entsprechen kann, obwohl die Rate der Bilder 44 höher ist, als es die Auslesegeschwindigkeit der Ausleseschaltung 36 zuließe. Die zyklenweise Auslese der Pixel in Teilmengen mit unregelmäßiger Verteilung der in den einzelnen Zyklen ausgelesenen Pixel ermöglicht also die Ausgabe von dünn besetzten Teilbildern mit der Pixelarrayauflösung mit einer erhöhten Rate, und ein Bildaufnahmesystem mit dem Bildsensor, wie es in 2 gezeigt ist, ist in der Lage, aus diesen dünn besetzten Teilbildern voll besetzte Teilbilder 44, d. h. höher auflösende regelmäßiges-Gitter-Bilder zu erzeugen.Due to the irregularity of the distribution of pixels associated with each cycle associated with the readout circuit 36 in this cycle, it is now possible, from the sparse sub-images 14 to produce by interpolation images with a regular grid of sample points having more sample points than in the respective cycle with the readout circuit 36 have connected pixels. The image sensor of 5 can, for example, as in 2 shown to be part of an image acquisition system to there an image reconstructor 22 to be in front, then the partial images 40 through interpolation 42 in the higher resolution pictures 44 transferred so that the image acquisition system is capable of a total, per cycle 38 such a high-resolution image 44 output the resolution of these high resolution images 44 for example, the resolution of the pixel array of the pixels 12 of the image sensor 10 even though the rate of images can match 44 is higher than the readout speed of the readout circuit 36 would allow. The cyclic readout of the pixels in subsets with irregular distribution of the pixels read in the individual cycles thus enables the output of sparse sub-images with the pixel array resolution at an increased rate, and an image acquisition system with the image sensor, as shown in FIG 2 is shown, from these sparse fields fully occupied fields 44 ie generating higher-resolution regular-grid images.
Die Unregelmäßigkeit der Verteilung der Pixel der einzelnen Teilmengen von Pixeln der Teilbilder über die zweidimensionale Verteilung von Pixeln 12 hinweg kann derart sein, dass eine Autokorrelation der Besetzung der Pixel einer jeweiligen Teilmenge für Verschiebungen, die zumindest kleiner als ein vorbestimmter Abstand sind, kleiner 0,5 ist, und dass eine lokale Anzahl von Pixeln der jeweiligen Gruppe über die zweidimensionale Verteilung hinweg in etwa konstant ist. Der vorbestimmte Abstand kann 3 Mal einen Pixelwiderholabstand des regelmäßigen Arrays betragen.The irregularity of the distribution of the pixels of the individual subsets of pixels of the partial images over the two-dimensional distribution of pixels 12 It may be such that an autocorrelation of the occupation of the pixels of a respective subset for shifts which are at least smaller than a predetermined distance is smaller than 0.5, and that a local number of pixels of the respective group over the two-dimensional distribution is approximately constant. The predetermined distance may be 3 times a pixel pitch of the regular array.
Gemäß nachfolgend beschriebenen Ausführungsbeispielen wird die oben beschriebene zyklenweise Auslese von Teilbildern dadurch erzielt, dass der Bildsensor 10 als zweidimensionale Verteilung Spalten und Zeilen umfasst, so wie es in 5 gezeigt war, wobei der Bildsensor 10 eine zwischen die Pixel und die Ausleseschaltung geschaltete Verdrahtungsstruktur aufweist, die Zeilenleitungen mit einer jeweils zugeordneten Zeilenadresse aufweist, die jeweils mit Pixeln in unterschiedlichen Zeilen der zweidimensionalen Verteilung verbindbar oder verbunden ist, und zwar in einer über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßigen Weise. Die Zeilenleitungen können dabei jeweils mit einem Pixel in jeder Spalte der zweidimensionalen Verteilung verbindbar bzw. verbunden sein. Bei den Zeilenleitungen handelt es sich beispielsweise insbesondere um die Zeilenausleseleitungen, d. h. diejenigen Leitungen, über die die Ausleseschaltungen der jeweiligen Pixel ansteuerbar sind, um die akkumulierte Ladungsmenge an eine jeweilige Spaltenleitung anzulegen, entlang der das jeweilige Pixel positioniert ist. An jeder Spaltenleitung hängt wiederum beispielsweise ein jeweiliger Ausleseverstärker und/oder A/D-Wandler.According to embodiments described below, the above-described cyclic readout of partial images is achieved in that the image sensor 10 as a two-dimensional distribution includes columns and rows, as in 5 was shown, with the image sensor 10 a wiring structure connected between the pixels and the readout circuit, comprising row wirings having a respective associated row address connectable or connected to pixels in different lines of the two-dimensional distribution, in a manner irregular over the columns of the two-dimensional distribution. The row lines can in each case be connected or connected to a pixel in each column of the two-dimensional distribution. In particular, the row lines are, in particular, the row read lines, ie those lines by means of which the read-out circuits of the respective pixels can be driven in order to apply the accumulated charge quantity to a respective column line along which the respective pixel is positioned. Each column line in turn hangs, for example, a respective readout amplifier and / or A / D converter.
Nachfolgend werden Ausführungsbeispiele beschrieben, die zur Erzielung einer zeitlichen Zufälligkeit aus einer Pixelverdrahtung randomisierte Zeilenbusse oder sogar randomisierte Zeilenbusse und Spaltenbusse verwenden. Wie bereits erwähnt, sind diese Ausführungsbeispiele auch mit obigen Ausführungsbeispielen aus den 1–4 kombinierbar, die eine feste räumliche Skalierung zur Interpolation lieferten, wohingegen nachfolgend beschriebene Ausführungsbeispiele eine zeitliche Skalierbarkeit liefern.Embodiments will be described below which use randomized row busses or even randomized row busses and column busses to achieve temporal randomness from a pixel wiring. As already mentioned, these embodiments are also with the above embodiments of the 1 - 4 can be combined, which provided a fixed spatial scaling for interpolation, whereas embodiments described below provide a temporal scalability.
Prinzipiell sind nachfolgend beschriebene Ausführungsbeispiele mit jeglicher Pixelarchitektur kombinierbar, wie z. B. 3T- oder 4T-Pixel mit drei bzw. vier Transistoren pro Pixel. Die nachfolgend beschriebene Ausführungsbeispiele randomisieren die Zeilen- bzw. Spaltenleitungen. Wie es im Anschluss an diese Beschreibung noch beschrieben werden wird, kann ein unterschiedliches zufälliges Muster für die horizontalen bzw. zeilenweise verlaufenden Leitungen verwendet werden, wie z. B. die Rücksetzleitung zum Zurücksetzen des Akkumulationszustands der an die jeweilige Zeilenleitung angeschlossenen Pixel, die Zeilenauswahlleitungen zum Aktivieren der Pixel, ihre jeweilige akkumulierte Ladung der tatsächlichen Auslese bzw. Digitalisierung zuzuführen, und/oder die Transferzeilenleitungen zur Adressierung derjenigen Pixel, die die bisher akkumulierte Ladungsmenge auf einen anderen Kondensator für eine spätere Auslese umspeichern sollen, damit beispielsweise zwischenzeitlich wieder eine Akkumulation erfolgen kann. Eine ähnliche Randomisierung kann auf die Spaltenauslesebusse übertragen werden, wie es im Folgenden beschrieben wird.In principle, embodiments described below can be combined with any pixel architecture, such. B. 3T or 4T pixels with three or four transistors per pixel. The embodiments described below randomize the row and column lines. As will be described below following this description, a different random pattern may be used for the horizontal and line-by-line, respectively. For example, the reset line for resetting the state of accumulation of the pixels connected to the respective row line, the row selection lines for activating the pixels to supply their respective accumulated charge to the actual readout and / or the transfer line lines for addressing those pixels representing the accumulated amount of charge to re-store on another capacitor for later selection, so that, for example, an accumulation can take place in the meantime again. Similar randomization may be applied to the column read buses, as described below.
Um das Verständnis der nachfolgend beschriebenen Ausführungsbeispiele zu erleichtern, zeigt 6a die übliche Verdrahtung der Zeilenadressen. 6a zeigt einen Ausschnitt aus einem Pixelarray mit Pixeln, die in Zeilen und Spalten angeordnet sind. Die Zeilenleitung 50 verlaufen jeweils entlang einer Zeile des Pixelarrays und sind mit den Ausleseschaltungen aller Pixel entlang der jeweiligen Zeile verbunden. Für jede Zeile des Pixelarrays existiert also eine Zeilenleitung 50. Jeder Zeilenleitung 50 ist eine Zeilenadresse zugeordnet. Auf diese Weise ist auch jedes Pixel 12 einer Zeilenleitung zugeordnet. Die Zuordnung ist in 6a mit Ziffern 1, 2 und 3 für die Zeilenleitungen ra1, ra2 und ra3 angedeutet, die in 6 exemplarisch dargestellt sind. Wie es bereits erwähnt worden ist, existieren verschiedene Typen von Zeilenleitungen.To facilitate the understanding of the embodiments described below, shows 6a the usual wiring of the row addresses. 6a shows a section of a pixel array with pixels arranged in rows and columns. The row line 50 each run along one row of the pixel array and are connected to the readout circuits of all pixels along the respective row. For each line of the pixel array, therefore, there is a row line 50 , Each row line 50 is assigned a row address. That's how every pixel is 12 associated with a row line. The assignment is in 6a with numbers 1 . 2 and 3 for the row lines ra1, ra2 and ra3 indicated in 6 are shown as examples. As already mentioned, various types of row lines exist.
Ein Typ von Zeilenleitung wird im Folgenden als Rücksetzzeilenleitung beschrieben. Wenn sie aktiviert ist, setzen alle Pixel, deren Ausleseschaltungen mit dieser Zeilenleitung verbunden sind, ihren Akkumulationszustand zurück. Von da an akkumulieren die Pixel von dem definierten Rücksetzzustand aus die auf ihre jeweilige lichtempfindliche Fläche treffende Lichtmenge. Ein weiterer Typ von Zeilenleitungen wird im Folgenden als Akkumulationsstoppzeilenleitung bezeichnet, die, wenn sie aktiviert wird, bewirkt, dass der sich bis dahin ergebende Akkumulationszustand der Pixel, deren Ausleseschaltung mit dieser Akkumulationsstoppzeilenleitung verbunden ist, nicht mehr weiter durch Akkumulation beeinflusst wird, sondern bis zu dessen Auslese unbeeinflusst bleibt, wie z. B. durch Umspeicherung auf einen Zwischenspeicher bzw. Kondensator. Mit Auslesezeilenleitungen werden im Folgenden Zeilenleitungen bezeichnet, die, wenn sie aktiviert werden, bewirken, dass der Akkumulationszustand am Ende des Akkumulationszeitfensters der Pixel, die an diese Zeilenleitung angeschlossen sind, auf eine entsprechende Spaltenleitung ausgegeben wird, wo der Akkumulationszustand dann ausgelesen, wie z. B. digitalisiert, wird. Die Pixel sind so mit den Spaltenleitungen verbunden, dass stets nur ein Pixel pro Spaltenleitung existiert, das von einer Auslesezeilenleitung aktivierbar ist.One type of row line will be described below as the reset line line. When activated, all pixels whose readout circuits are connected to this row line reset their accumulation state. From then on, the pixels from the defined reset state accumulate the amount of light striking their respective photosensitive area. Another type of row lines will hereinafter be referred to as the accumulation stop line, which, when activated, causes the accumulation state of the pixels whose read circuit is connected to this accumulation stop line to be further influenced by accumulation rather than accumulation whose selection remains unaffected, such as B. by restoring to a buffer or capacitor. In the following, read line lines are called row lines which, when activated, cause the state of accumulation at the end of the accumulation time window of the pixels connected to this row line to be output to a corresponding column line, where the state of accumulation is then read out, such as. B. digitized is. The pixels are connected to the column lines such that there is always only one pixel per column line that can be activated by a readout line.
Die soeben vorgebrachte Beschreibung der verschiedenen Zeilenleitungstypen gilt auch für die nachfolgende Beschreibung der Ausführungsbeispiele der vorliegenden Anmeldung. Dabei wird darauf hingewiesen, dass die Akkumulationsstoppzeilenleitungen und die Auslesezeilenleitungen zusammenfallen können, wenn der Akkumulationsstopp gleich auch immer der Zeitpunkt des Auslesens ist.The description just given of the various types of row lines also applies to the following description of the exemplary embodiments of the present application. It is on it It is pointed out that the accumulation stop line lines and the readout line lines may coincide if the accumulation stop is always the time of the read-out.
Wenn also – wieder zurückkehrend zu 6a – die Zeilenleitung mit der Zeilenadresse ra1 aktiviert wird, werden alle Pixel 12, die in 6 mit „1” beschriftet sind, eine bestimmte Aktion durchführen, die wiederum von dem Typ der Zeilenleitung abhängt, wie es soeben beschrieben worden ist. Gemäß dem traditionellen Verdrahtungsschema folgen die Zeilenleitungen streng den Zeilen des Pixelarrays und die Spaltenleitungen 52 folgen streng den Spalten des Pixelarrays.If so - returning to 6a - the row line is activated with the row address ra1, all pixels 12 , in the 6 are labeled with "1", perform a particular action which, in turn, depends on the type of row line as just described. According to the traditional wiring scheme, the row wirings strictly follow the rows of the pixel array and the column lines 52 strictly follow the columns of the pixel array.
Bei den nachfolgend beschriebenen Ausführungsbeispielen, die unter anderem in der Lage sind, das Ausführungsbeispiel von 5 mit seinen Vorteilen umzusetzen, aber auch zusätzlich oder alternativ andere Vorteile, wie im folgenden noch beschrieben werden, wird eine alternative Führung der Zeilenleitungen zur Adressierung der individuellen Pixel verwendet. In 6b ist beispielsweise das Pixelarray eines Bildsensors gezeigt, bei dem die Pixel wieder in Spalten und Zeilen angeordnet sind, wobei aber eine zeilenweise zufällige Verschachtelung der Zeilenleitungen verwendet worden ist. Die Aktivierung der Zeilenleitung mit der Zeilenadresse ra1 aktiviert in dem Ausführungsbeispiel von 6b beispielsweise nicht nur Pixel in einer Zeile, sondern Pixel in zwei verschiedenen Zeilen, hier in beiden unmittelbar benachbarten Zeilen, die in 6b gezeigt sind. Wie bereits bezüglich 6a erwähnt, kann es sich um jeglichen Typ von Zeilenleitung handeln. Bei der Zuverlässigkeit bzw. Unregelmäßigkeit, die über die Spalten hinweg besteht, handelt es sich wiederum um eine solche, die nicht unbedingt ausschließt, dass sich das zufällige Muster über die Spalten hinweg wiederholt.In the embodiments described below, which are capable, inter alia, the embodiment of 5 implement with its advantages, but also in addition or alternatively other advantages, as will be described below, an alternative guidance of the row lines is used to address the individual pixels. In 6b For example, the pixel array of an image sensor is shown in which the pixels are again arranged in columns and rows, but a line by line random interleaving of the row lines has been used. The activation of the row line with the row address ra1 activates in the exemplary embodiment of FIG 6b For example, not just pixels in a row, but pixels in two different rows, here in both immediately adjacent rows, in 6b are shown. As already regards 6a mentioned, it can be any type of row line. The reliability or irregularity that exists across the columns is again one that does not necessarily preclude the random pattern from repeating across the columns.
Insbesondere kann es also sein, dass die Unregelmäßigkeit, mit welcher die Zeilenleitungen gemäß dem Ausführungsbeispiel von 6b zwischen zwei benachbarten Zeilenleitungen wechselt, so ist, dass eine Autokorrelationsfunktion einer Funktion, die den Wechsel einer Zeilenleitung, wie der Zeilenleitung ra1 beispielsweise, zwischen den zwei benachbarten Zeilen des Pixelarrays beschreibt, nur in einem Bereich um 0 entlang der Achse, die die Verschiebung und Zeilenrichtung beschreibt, kleiner als 0,5 ist, und darüber hinaus auch deutlich größer sein kann, wobei der Bereich um die Nullverschiebung beispielsweise lediglich bis zu 3 oder sogar noch weniger als der Pixelabstand entlang der Zeilenrichtung ist.In particular, it may therefore be that the irregularity with which the row lines according to the embodiment of 6b between two adjacent row lines, so that an autocorrelation function of a function describing the change of a row line, such as the row line ra1, between the two adjacent lines of the pixel array is only in a range around 0 along the axis representing the shift and Row direction is less than 0.5, and in addition can also be significantly larger, the range around the zero shift, for example, only up to 3 or even less than the pixel spacing along the line direction.
Gemäß dem Ausführungsbeispiel von 3b ist es zudem so, dass die Zeilenleitungen immer paarweise miteinander zufällig verschachtelt werden und dass die jeweils andere Zeilenleitung die noch nicht durch ihre zugehörige Partnerzeilenleitung angeschlossenen Pixel anspricht, so dass alle Pixel in den betreffenden zwei benachbarten Zeilen des Pixelarrays genau einer der beiden Zeilenleitungen angehören, und zwar so, dass auch in jeder Spalte genau ein Pixel in diesen zwei Zeilen zu der einen Zeilenleitung gehört, und das Pixel der anderen Zeile in dieser Spalte zu der anderen Zeilenleitung.According to the embodiment of 3b it is also the case that the row lines are always interleaved in pairs at random and that the other row line responds to the pixels not yet connected by their associated partner row line, so that all pixels in the respective two adjacent lines of the pixel array belong to exactly one of the two row lines, in such a way that also in each column exactly one pixel in these two rows belongs to the one row line, and the pixel of the other row in this column belongs to the other row line.
Der Grad an Randomisierung kann natürlich auch erhöht werden. Für höhere Formen der Verschachtelung zeigt 6c ein Ausführungsbeispiel, das allerdings den Verdrahtungsaufwand erhöht. Anstelle des Verschachteln von stets zwei benachbarten Zeilenleitungen, werden hier die Zeilenleitungen jeweils in benachbarten Dreiergruppen verschachtelt. Beispielsweise werden die ersten drei Zeilen des Pixelarrays von drei zugehörigen Zeilenleitungen mit den Zeilenadressen ra1, ra2 und ra3 so durchlaufen, dass in jeder Spalte die drei Pixel dieser drei Zeilen den drei Zeilenleitungen über die Spalten hinweg unregelmäßig zugeordnet sind. Die Zeilenleitungen verlaufen somit zickzack, wie dies auch in 6 angedeutet ist, was, wie soeben erwähnt, den Verdrahtungsaufwand steigert.Of course, the degree of randomization can also be increased. For higher forms of nesting shows 6c an embodiment, however, increases the wiring costs. Instead of interleaving always two adjacent row lines, here the row lines are each nested in adjacent triplets. For example, the first three rows of the pixel array are traversed by three associated row wirings having row addresses ra1, ra2 and ra3 such that in each column the three pixels of those three rows are irregularly assigned to the three row leads across the columns. The row lines thus run zigzag, as well as in 6 is indicated, which, as just mentioned, increases the wiring costs.
6b und 6c zeigen also in anderen Worten einen Bildsensor mit einer zweidimensionalen Verteilung von Pixeln 12 mit regelmäßiger Anordnung in Spalten und Zeilen und einer Verdrahtungsstruktur, die Zeilenleitungen mit einer jeweils zugeordneten Zeilenadresse aufweist, die jeweils mit Pixeln in unterschiedlichen Zeilen der zweidimensionalen Verteilung verbindbar oder verbunden sind, und zwar in einer über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßigen Weise. Dabei sind die Zeilenleitungen 50 jeweils mit jeweils einem Pixel 12 in jeder Spalte der zweidimensionalen Verteilung verbindbar bzw. verbunden. Die Verdrahtungsstruktur weist zudem Spaltenleitungen auf, die jeweils den Pixeln 12 einer jeweiligen Spalte der zweidimensionalen Verteilung zugeordnet sind, und an die jeweils ein Analog/Digital-Wandler 20 der Ausleseschaltung angeschlossen ist, so dass bei Ansteuerung einer der Zeilenleitungen die Pixelwerte der Pixel, die mit dieser Zeilenleitung verbindbar oder verbunden sind, digitalisiert werden. Die Zeilenleitungen sind hier ohne Verzweigungen mit einer Verzweigungslänge größer einer Größe eines Pixels, d. h. quasi verzweigungslos, entlang einer Zeilenrichtung der zweidimensionalen Verteilung durch die zweidimensionale Verteilung geführt. 6b and 6c In other words, in other words, show an image sensor with a two-dimensional distribution of pixels 12 with regular arrangement in columns and rows and a wiring structure having row wirings with a respective associated row address, which are respectively connectable or connected to pixels in different rows of the two-dimensional distribution, in a manner irregular over the columns of the two-dimensional distribution. Here are the row lines 50 each with one pixel 12 connectable or connected in each column of the two-dimensional distribution. The wiring structure also has column lines, each of the pixels 12 a respective column of the two-dimensional distribution are assigned, and to each of which an analog / digital converter 20 the read-out circuit is connected, so that when one of the row lines is driven, the pixel values of the pixels which can be connected or connected to this row line are digitized. The row lines are here without branches with a branch length greater than a size of a pixel, that is guided virtually branchless, along a row direction of the two-dimensional distribution through the two-dimensional distribution.
Eine alternative Führung der zufälligen Verschachtelung von vier Zeilen ist in 6d gezeigt. 6d zeigt einen exemplarischen Ausschnitt aus einem Pixelarray eines Bildsensors, bei dem die Pixel 12 wieder in Zeilen und Spalten angeordnet sind, und Zeilenleitungen 50 vorgesehen sind, die das Pixelarray jeweils in Zeilenrichtung durchlaufen, und von denen aus für jede Spalte eine Stichleitung in Spaltenrichtung abzweigt, um jeweils in einer in Spaltenrichtung unregelmäßigen Weise ein Pixel aus einer vorbestimmten Gruppe von benachbarten Zeilen des Pixelarrays mit dieser Zeilenleitung zu verbinden bzw. dieser Zeilenleitung zuzuordnen. An alternative way of randomly interleaving four lines is in 6d shown. 6d shows an exemplary section of a pixel array of an image sensor in which the pixels 12 are again arranged in rows and columns, and row lines 50 are provided which pass through the pixel array in each case in the row direction, and from which a stub for each column branches off in the column direction, in each case in a column direction irregular manner to connect a pixel from a predetermined group of adjacent lines of the pixel array with this row line or allocate to this row line.
Es kann hilfreich sein, wenn, wie es in 6d angedeutet ist, die abzweigenden Stichleitungen für alle Zeilenleitungen und für alle Spalten gleich lang sind, so dass die Kapazität der einzelnen Zeilenleitungen miteinander ausgeglichen ist, wobei lediglich die Auswahl des jeweiligen Pixels in der jeweiligen Spalte entlang der Zeilenrichtung unregelmäßig variiert. Die Zuordnung der Pixel zu den Zeilenleitungen könnte unterschiedliche gehandhabt werden. Beispielsweise könnte unter Verwendung der Stichleitungen in Spaltenrichtung, wie sie in 6d gezeigt sind, eine gruppenweise Verschachtelung erzielt werden, wie sie in 6b und 6c gezeigt worden ist, indem sich nämlich die Stichleitungen einer entsprechenden Anzahl von Zeilenleitungen in Spaltenrichtung immer über die Zeilen der jeweiligen Gruppe von Zeilen erstrecken. In dem Fall von Gruppen von je vier Zeilen stehen beispielsweise vier Zeilenleitungen pro solche Zeilengruppe zur Verfügung, deren Stichleitungen jeweils in jeder Spalte diese vier Zeilen durchlaufen, wobei die Zuordnung unregelmäßig variiert, wie es beschrieben worden ist.It can be helpful if, as it is in 6d is indicated, the branching stubs are the same length for all row lines and for all columns, so that the capacity of the individual row lines is balanced with each other, wherein only the selection of the respective pixel in the respective column varies irregularly along the row direction. The assignment of the pixels to the row lines could be handled differently. For example, using the column-direction stubs as shown in FIG 6d a groupwise interleaving is achieved, as shown in FIG 6b and 6c that is, since the stubs of a corresponding number of row lines in the column direction always extend over the rows of the respective group of rows. For example, in the case of groups of four rows each, there are four row lines per such row group whose stubs each pass through these four rows in each column, the allocation varying irregularly as described.
In 6d ist allerdings eine alternative Vorgehensweise dargestellt, wonach die Zeilenleitungen zwar ebenfalls immer genau einer Gruppe der gleichen Anzahl von benachbarten Zeilen des Pixelarrays zugeordnet sind, nämlich vier in dem Fall von 6d, aber diese Gruppe ändert sich von einer Zeilenleitung zu der nächsten Zeileneitung in Spaltenrichtung um eine Zeile. Das Ergebnis ist eine Gleitfensteranordnung, bei der beispielsweise die Pixel der dritten bis sechsten Zeile des Pixelarrays aktiviert werden, wenn die Zeilenleitung mit der Zeilenadresse ra3 aktiviert wird, während Pixel 12 aus der zweiten bis fünften Zeile aktiviert werden, wenn die Zeilenleitung mit der Zeilenadresse ra2 aktiviert wird, usw. Lediglich die Verbindung zu den Pixeln 12 bzw. deren Ansteuerschaltungen, die mit entsprechend markierten größeren Punkten dargestellt sind, muss zufüllig bzw. unregelmäßig entlang der Zeilenrichtung variiert werden. Als Folge dieser Gleitfensteranordnung sind einige Pixel in den obersten drei Zeilen und den untersten drei Zeilen des Pixelarrays keiner Zeilenleitung zugeordnet bzw. deren Ansteuerschaltungen sind mit keiner Zeilenleitung verbunden, und diese Pixelflächen können somit auch im Layout unausgefüllt bleiben, wobei sie in 6d dadurch erkennbar sind, dass sie unbeschriftet sind und nicht durch eine Ziffer von 1–4 einer der ersten vier Zeilenleitung mit den Zeilenadressen ra1, ra2, ra3 bzw. ra4 zugeordnet sind. Aufgrund der Unregelmäßigkeit der Zuordnung der Pixel zu den Zeilenleitungen macht dies aber nichts, wie es im Vorhergehenden beschrieben worden ist.In 6d However, an alternative approach is shown, according to which the row lines are also always associated with exactly one group of the same number of adjacent rows of the pixel array, namely four in the case of 6d but this group changes from one row lead to the next row lead in the column direction by one row. The result is a sliding window arrangement in which, for example, the pixels of the third to sixth lines of the pixel array are activated when the row line with the row address ra3 is activated, while pixels 12 from the second to fifth lines are activated when the row line is activated with the row address ra2, etc. Only the connection to the pixels 12 or their drive circuits, which are shown with correspondingly marked larger dots, must be zufullig or irregularly varied along the line direction. As a result of this sliding window arrangement, some pixels in the top three rows and the bottom three rows of the pixel array are not associated with a row line, or their drive circuits are not connected to any row line, and thus these pixel areas can also be left unfilled in the layout 6d can be seen that they are unlabeled and are not assigned by a number from 1-4 one of the first four row line with the row addresses ra1, ra2, ra3 and ra4. Due to the irregularity of the assignment of the pixels to the row lines, however, this does not do anything, as has been described above.
6d zeigt also in anderen Worten einen Bildsensor mit einer zweidimensionalen Verteilung von Pixeln 12 mit regelmäßiger Anordnung in Spalten und Zeilen und einer Verdrahtungsstruktur, die Zeilenleitungen mit einer jeweils zugeordneten Zeilenadresse aufweist, die jeweils mit Pixeln in unterschiedlichen Zeilen der zweidimensionalen Verteilung verbindbar oder verbunden sind, und zwar in einer über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßigen Weise, wobei die Zeilenleitungen 50 jeweils mit jeweils einem Pixel 12 in jeder Spalte der zweidimensionalen Verteilung verbindbar bzw. verbunden sind. Die Verdrahtungsstruktur weist zudem Spaltenleitungen auf, die jeweils den Pixeln 12 einer jeweiligen Spalte der zweidimensionalen Verteilung zugeordnet sind, und an die jeweils ein Analog/Digital-Wandler 20 der Ausleseschaltung angeschlossen ist, so dass bei Ansteuerung einer der Zeilenleitungen die Pixelwerte der Pixel, die mit dieser Zeilenleitung verbindbar oder verbunden sind, digitalisiert werden. Hier aber sind die Zeilenleitungen geradlinig in einer Zeilenrichtung der zweidimensionalen Verteilung durch die zweidimensionale Verteilung geführt, wobei Stichleitungen zu den mit der jeweiligen Zeilenleitung verbindbaren oder verbundenen Pixeln führen. Die Stichleitungen können für alle Zeilenleitungen in allen Spalten gleich lang sein, so dass sich viele Stichleitungen über das mit einer jeweiligen Zeilenleitung verbindbare bzw. verbundene Pixel hinaus erstrecken, aber eine Kapazität der Zeilenleitungen untereinander gleich ist. 6d In other words, it shows an image sensor with a two-dimensional distribution of pixels 12 with regular arrangement in columns and rows, and a wiring structure having row lines with a respectively assigned row address connectable or connected to pixels in different lines of the two-dimensional distribution, in a manner irregular over the columns of the two-dimensional distribution, wherein the row lines 50 each with one pixel 12 can be connected or connected in each column of the two-dimensional distribution. The wiring structure also has column lines, each of the pixels 12 a respective column of the two-dimensional distribution are assigned, and to each of which an analog / digital converter 20 the read-out circuit is connected, so that when one of the row lines is driven, the pixel values of the pixels which can be connected or connected to this row line are digitized. Here, however, the row lines are guided rectilinearly in a row direction of the two-dimensional distribution through the two-dimensional distribution, with branch lines leading to the pixels connectable or connected to the respective row line. The stubs may be the same length for all row lines in all columns, so that many stubs extend beyond the pixel connectable or connected to a respective row line, but a row line capacitance is equal to each other.
Insbesondere lasst sich also mit den Verdrahtungsstrukturen, wie sie im 6b – 6d gezeigt worden sind, ehre Teilbildauslese gemäß 5 erzielen, indem beispielsweise in dem Fall von 6b für ein Teilbild 40 die ungeradzahligen Zeilen ausgelesen werden und für ein weiteres Teilbild 45 die geradzahligen Zeilen, und in dem Fall von 6c zunächst alle Zeilenleitungen mit Zeilenadressnummern, die durch 3 teilbar sind, um ein Teilbild 40 zu erhalten, dann die Zeilenleitungen mit Zeilenleitungsnummern, die durch 3 geteilt einen Rest von 1 ergeben, schließlich zur Erzielung eines dritten Teilbildes die Zeilenleitungen, die bei Teilung durch 3 den Rest von 2 ergeben, und in dem Fall von 6d kann auf entsprechende Weise vorgegangen werden, um vier Teilbilder zu erhalten, und diese Teilbilder können dann von einem Rekonstruierer, wie z. B. dem Rekonstruierer 22, wieder durch Interpolation in hochaufgelöste Bilder 44 mit Abtastwerten in einem regelmäßigen Gitter von beispielsweise Spalten und Zeilen mit einer Anzahl von Abtastwerten, die die einzelnen Pixelwerte der einzelnen unbesetzten Teilbilder 44 jeweils übersteigt, überführt werden. Da die Verdrahtungsstruktur fest ist bzw. im Layout verankert ist, ist der Rekonstruierer 22 beispielsweise darüber informiert, welche Pixelwerte der dünn besetzten Teilbilder 40 zu welchen Pixeln gehören, wie z. B. indem der Rekonstruierer 22 darüber informiert ist, in welcher Reihenfolge der Bildsensor die Zeilenleitungen ansteuerte.In particular, it is possible to work with the wiring structures as used in the 6b - 6d have been shown, honor partial image readout according to 5 by, for example, in the case of 6b for a drawing file 40 the odd-numbered lines are read out and for another partial image 45 the even-numbered lines, and in the case of 6c first all row lines with row address numbers, which are divisible by 3, by one field 40 Then, to obtain a third field, the row wirings having row line numbers divided by 3 giving a remainder of 1, the row wirings which, when divided by 3, give the remainder of 2, and in the case of FIG 6d can be proceeded in a corresponding manner to obtain four fields, and these fields can then by a reconstructor, such as. The reconstructor 22 , again by interpolation into high-resolution images 44 with samples in one regular grids of, for example, columns and rows with a number of samples representing the individual pixel values of the individual unoccupied partial images 44 always exceeds, be transferred. Since the wiring structure is fixed or anchored in the layout, the reconstructor is 22 For example, it informs which pixel values of the sparse fields 40 to which pixels belong, such as B. by the reconstructor 22 is informed in which order the image sensor was driving the row lines.
Bei den soeben gemachten Ausführungen, wie die Ausführungsbeispiele von 6b – 6d dazu verwendet werden können, um ein Ausführungsbeispiel gemäß 5 umzusetzen, wurde stillschweigend davon ausgegangen, dass es sich bei den Zeilenleitungen 50 um die Auslese der Zeilenleitungen handelt, mit denen die einzelnen Pixel aktiviert werden, um ihren Akkumulationszustand auf jeweilige Spaltenleitung 52 auszugeben, über welche dann der jeweilige Akkumulationszustand ausgelesen wird, und zwar in der Ausleseschaltung 36. Natürlich können auch weitere Zeilenleitungen einer anderen Art, wie z. B. die Rücksetzzeilenleitungen, ebenfalls randomisiert sein, und sogar anders randomisiert, wie es im Vorhergehenden beschrieben worden ist, aber hierauf wird in der folgenden Beschreibung noch eingegangen. Insbesondere können sich aber durch eventuelle Abweichungen der Randomisierung Rücksetzzeilenleitungen und der Akkumulationsstopp- oder -falls dieselben zusammenfallen – Auslesezeilenleitungen die Akkumulationszeitdauern der Pixel untereinander unterscheiden, weshalb es nötig sein kann, die aus den Akkumulationszuständen erhaltenen Pixelwerte der einzelnen Pixel die entsprechenden Gewichtungswerte zu harmonisieren, um die unterschiedlichen Akkumulationszeitdauern auszugleichen. Hierauf wird ebenfalls noch in der nachfolgenden Beschreibung eingegangen.In the statements just made, as the embodiments of 6b - 6d can be used to an embodiment according to 5 implicitly, it was implicitly assumed that the row wires 50 is the readout of the row wirings, with which the individual pixels are activated to their accumulation state on respective column line 52 over which then the respective accumulation state is read, in the readout circuit 36 , Of course, other row lines of another kind, such. For example, the reset row lines may also be randomized, and even randomized as described above, but will be discussed in the following description. In particular, however, due to eventual deviations of the randomization of reset row lines and the accumulation stop or coincidence thereof, readout row lines may differentiate the accumulation periods of the pixels, therefore it may be necessary to harmonize the pixel values of the individual pixels obtained from the accumulation states to the corresponding weight values to balance the different accumulation periods. This will also be discussed in the following description.
Insgesamt ermöglichen es also die Verdrahtungsmuster der 6b–6d mit der zeilenweise Verschachtelung, das Pixelarray in mehreren Durchläufen gänzlich auszulesen. Anstelle einer langen Belichtung werden vier Teilbelichtungen 38 verwendet, wobei beispielsweise Auslese-/Rücksetz-/Transfer(Akkumulationsstopp)-Zeilenleitungen mit lediglich den Zeilenadressen 1, 5, 9, ... in dem ersten Teilbild und Auslese-/Rücksetz-/Transfer-Zeilenleitungen mit den Zeilenadressen 2, 6, 10, ... in dem zweiten Teilbild angesteuert werden, um ein Beispiel zu nennen. Dies ermöglicht eine Skalierbarkeit bis hoch zu der vorgesehenen Unterteilung, wie z. B. zwei in dem Fall von 6b, drei in dem Fall von 6c und vier in dem Fall von 6d.Overall, therefore, allow the wiring pattern of 6b - 6d with line-by-line interleaving, to read the pixel array completely in several passes. Instead of a long exposure four partial exposures 38 using, for example, read / reset / transfer (accumulation stop) row lines with only row addresses 1, 5, 9, ... in the first field and read / reset / transfer row lines with row addresses 2, 6, 10, ... are controlled in the second field, to give an example. This allows scalability up to the intended subdivision, such. B. two in the case of 6b , three in the case of 6c and four in the case of 6d ,
Mit einem Bildsensor mit einer festen 4 × 1-Verschachtelung, wie sie in 6d gezeigt ist, ist es ferner möglich, eine Auslese mit lediglich drei oder weniger Belichtungsteilbildern zu erzeugen. Dies kann ferner dazu verwendet werden, das Array in einer regelmäßigen linearen Operation zu scannen, um reguläre Bilder zu erzeugen. Eine zusätzliche Pixelsortieroperation wäre außerhalb des Bildsensors notwendig, wie z. B. in dem Bildrekonstruierer 22. Bei Einteilung in 4 Teilgruppen kann man beispielsweise 4 Teilbilder auslesen.With an image sensor with a fixed 4 × 1 nesting, as in 6d is shown, it is also possible to produce a readout with only three or fewer exposure sub-images. This can also be used to scan the array in a regular linear operation to produce regular images. An additional pixel sorting operation would be necessary outside of the image sensor, such as. In the image reconstructor 22 , For example, if you divide it into 4 subgroups, you can read 4 subimages.
Ebenso ist es möglich bei Einteilung in 4 Teilgruppen auch 3 oder 2 Teilbilder auszulesen. Dies wird durch angepasste Ansteuerung und Gruppierung der Zeilenleitungen erreicht.It is also possible to divide into 4 subgroups and 3 or 2 fields. This is achieved by adapted control and grouping of the row lines.
Beisiel 1: Example 1
Ebenso ist eine Einteilung in noch mehr Teilgruppen möglich. Auch hier ergibt sich eine zufällige und übers Bildfeld weitgehend gleichmäßige Verteilung für jeden Durchlauf:Likewise, a division into even more subgroups is possible. Again, there is a random and over the image field largely uniform distribution for each run:
Beispiel 2: Example 2:
Ein Scannen durch das Array in einem schnelleren Muster kann ferner dazu verwendet werden, um Vorschau-/Live-Ansichtbild zu erzeugen. Das gesamte Gesichtsfeld des Bildsensors wird verwendet, d. h. Pixelwerte über das gesamte Pixelarray hinweg, aber lediglich ein Teil der Pixel wird ausgelesen. Dies kann den Leistungsverbrauch signifikant reduzieren.Scanning through the array in a faster pattern can also be used to create a preview / live view image. The entire field of view of the image sensor is used, ie Pixel values across the entire pixel array, but only part of the pixels are read out. This can significantly reduce power consumption.
Gemäß dem nachfolgend beschriebenen Ausführungsbeispiel von 6e wird zusätzlich eine zweite Randomisierung verwendet. Während also in den Ausführungsbeispielen von 6b–6d die Spaltenleitungen jeweils mit den Ansteuerschaltungen von Pixeln in jeweils genau einer zugehörigen Spalte des Pixelarrays verbunden waren, d. h. immer genau in einer Spalte verliefen, verlaufen die Spaltenleitungen gemäß dem Ausführungsbeispiel von 6e so, dass sie mit den Ansteuerschaltungen von Pixeln in jeweils zwei benachbarten Spalten verbunden sind, allerdings eben nur mit Pixeln, die einander unterschiedlichen Zeilenleitungen zugeordnet sind. Bei dem Ausführungsbeispiel von 6e existieren beispielsweise Spaltenausleseleitungen bzw. -busse für Zeilenleitungen mit ungerader Zeilenadresse, die mit „o” für odd (ungerade), und Zeilenleitungen mit gerader Zeilenadresse, die mit „e” für even (geradzahlig) angezeigt sind. Mit unterschiedlich gestalteten Punkten sind die Anschlüsse der einzelnen Pixel 12 an die Spaltenleitungen 52 angezeigt.According to the embodiment described below of 6e In addition, a second randomization is used. Thus, while in the embodiments of 6b - 6d the column lines were each connected to the drive circuits of pixels in each case exactly one associated column of the pixel array, ie always ran exactly in a column, run the column lines according to the embodiment of 6e such that they are connected to the drive circuits of pixels in each case two adjacent columns, but only with pixels which are assigned to different row lines. In the embodiment of 6e For example, column read lines for row lines with odd row address, those with "o" for odd, and row lines with even row address, which are indicated with "e" for even (eg, even) exist. With differently shaped points are the connections of the individual pixels 12 to the column lines 52 displayed.
Insbesondere existieren bei dem Ausführungsbeispiel von 6e doppelt so viele Zeilenleitungen wie bei dem Ausführungsbeispiel von 6b. Jede der Zeilenleitungen von 6b ist in zwei Zeilenleitungen aufgespaltet worden. Jede Zeilenleitung aus 6e ist nun mit Pixeln in der Hälfte der Spalten verbunden. Insbesondere ist jede Zeilenleitung aus 6e zufällig mit genau einem Pixel in jedem 2 × 2-Teilarray verbunden, die nebeneinanderliegend in zwei unmittelbar benachbarten Zeilen des Pixelarrays angeordnet sind. Auf diese Weise sind alle Pixel in jedem Paar benachbarter Zeilen des Pixelarrays mit einer Zeilenleitung aus vier verschiedenen Zeilenleitungen angeordnet, die für dieses Paar von Zeilen des Pixelarrays vorgesehen sind. Die Zeilenleitungen mit den Zeilenadressen ra1–ra4 sind beispielsweise den ersten beiden Zeilen des Pixelarrays in 6e zugeordnet. Die Zuordnung zu den Zeilenadressen ist in 6e wieder mit den Ziffern in den Pixeln 12 angezeigt worden. Die Spaltenleitungen 52 sind nun jeweils Pixeln in Paaren von benachbarten Spalten zugeordnet, die zu Zeilenleitungen mit entweder ausschließlich ungeraden Zeilenadressen oder ausschließlich geraden Zeilenadressen zugeordnet sind. Für jedes Paar von Zeilen des Pixelarrays ist es also möglich, eine der Zeilenleitungen mit ungerader Zeilenadresse und eine der Zeilenleitungen mit gerader Zeilenadresse, die den Pixeln dieses Paars von Zeilen des Pixelarrays zugeordnet sind, gleichzeitig zu aktivieren, so dass für jede Spaltenleitung 52 genau ein Pixel aktiviert wird.In particular, in the embodiment of 6e twice as many row lines as in the embodiment of 6b , Each of the row wirings of 6b has been split into two row lines. Each row line out 6e is now connected to pixels in half of the columns. In particular, each row line is off 6e coincidentally associated with exactly one pixel in each 2 × 2 subarray arranged side by side in two immediately adjacent lines of the pixel array. In this way, all the pixels in each pair of adjacent rows of the pixel array are arranged with one row line of four different row lines provided for this pair of rows of the pixel array. The row lines with the row addresses ra1-ra4 are, for example, the first two lines of the pixel array in 6e assigned. The assignment to the row addresses is in 6e again with the numbers in the pixels 12 been displayed. The column lines 52 are now each associated with pixels in pairs of adjacent columns associated with row lines having either only odd row addresses or even even row addresses. Thus, for each pair of rows of the pixel array, it is possible to simultaneously activate one of the odd row row lines and one of the even row address row lines associated with the pixels of that pair of rows of the pixel array, such that for each column line 52 exactly one pixel is activated.
Die Zeilenadressierung weist auf diese Weise einen weiteren Freiheitsgrad auf. Da es zwei Spaltenbusse gibt, nämlich einen für die Zeilenleitungen mit gerader Zeilenadresse und Spaltenleitungen für Zeilenleitungen mit ungerader Zeilenadresse, können zwei Zeilenleitungen zur gleichen Zeit ausgewählt werden. Falls beispielsweise die Zeilenleitungen mit den Zeilenadressen ra1 und ra2 gleichzeitig ausgewählt bzw. aktiviert werden, ergäbe sich ein Aktivierungsmuster, wie es in 6b gezeigt ist. Das Auslesemuster kann noch weiter gespreizt werden, wenn weniger Zeilenleitungen gleichzeitig ausgewählt werden, wie z. B. die Zeilenleitungen mit den Zeilenadressen ra1 und ra6. Ein solches Muster ermöglicht ferner ein zeitliches Verschachteln der Shutter-Einstellung bzw. der Akkumulationszeitdauern, da die Auswahl von ungeraden und geraden Zeilen in der Phase gegenseitig verschoben werden kann. In anderen Worten ausgedrückt, ist es bei dem Ausführungsbeispiel von 6e möglich, immer abwechselnd eine Zeilenleitung mit ungerader Zeilenadresse und eine Zeilenleitung mit gerader Zeilenadresse abwechselnd zu aktivieren, so dass abwechselnd lediglich Pixel an Spaltenleitungen e oder Spaltenleitungen o aktiviert sind. Hierzu ist aber ein leicht höherer Preis zu bezahlen, da die Kapazität der Spaltenbusse aufgrund erhöhter Verdrahtung erhöht wird, welche Kapazitätserhöhung durch die Ausgangsstufe innerhalb der jeweiligen Pixel getrieben werden muss. Für die Zeilensignale ist dies weniger kritisch, da dieselben von außerhalb des Pixelarrays getrieben werden, wie z. B. von dem vorerwähnten Zeilendecoder.The row addressing in this way has a further degree of freedom. Since there are two column buses, one for the even row address row lines and column lines for row lines with odd row address, two row lines can be selected at the same time. For example, if the row lines with the row addresses ra1 and ra2 are selected and activated at the same time, the result would be an activation pattern as shown in FIG 6b is shown. The read pattern can be further spread if fewer row lines are selected simultaneously, such as. B. the row lines with the row addresses ra1 and ra6. Such a pattern also allows time-interleaving of the shutter setting or accumulation periods because the selection of odd and even lines in the phase can be mutually shifted. In other words, it is in the embodiment of 6e it is possible to alternately activate a row line with an odd row address and a row line with an even row address alternately, so that only pixels on column lines e or column lines o are alternately activated. For this, however, a slightly higher price is to be paid, since the capacity of the column buses is increased due to increased wiring, which increase in capacity must be driven by the output stage within the respective pixels. For the line signals, this is less critical since they are driven from outside the pixel array, such as. B. from the aforementioned row decoder.
6d zeigt also in anderen Worten einen Bildsensor mit einer zweidimensionalen Verteilung von Pixeln 12 mit regelmäßiger Anordnung in Spalten und Zeilen und einer Verdrahtungsstruktur, die Zeilenleitungen mit einer jeweils zugeordneten Zeilenadresse aufweist, die jeweils mit Pixeln in unterschiedlichen Zeilen der zweidimensionalen Verteilung verbindbar oder verbunden sind, und zwar in einer über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßigen Weise. Dabei sind die Zeilenleitungen 50 jeweils mit jeweils einem Pixel 12 in jeder Spalte der zweidimensionalen Verteilung verbindbar bzw. verbunden. Die Verdrahtungsstruktur weist zudem Spaltenleitungen auf, die jeweils den Pixeln 12 einer jeweiligen Spalte der zweidimensionalen Verteilung zugeordnet sind, und an die jeweils ein Analog/Digital-Wandler 20 der Ausleseschaltung angeschlossen ist, so dass bei Ansteuerung einer der Zeilenleitungen die Pixelwerte der Pixel, die mit dieser Zeilenleitung verbindbar oder verbunden sind, digitalisiert werden. Die zweidimensionale Verteilung von Pixeln ist in diesem Fall in zweidimensionale Teilarrays gegliedert ist, die jeweils n Zeilen und m Spalten groß sind, so dass die Teilarrays ihrerseits auch regelmäßig in Zeilen und Spalten über die zweidimensionale Verteilung von Pixeln 12 verteilt sind, wobei für jede Zeile von Teilarrays n × m Zeilenleitungen mit einer jeweils zugeordneten Zeilenadresse vorhanden sind, von denen jede jeweils mit genau einem Pixel in jedem Teilarray der Zeile von Teilarrays verbunden ist, wobei eine Zuordnung zwischen den Pixeln der Teilarrays der Zeile von Teilarrays und den Zeilenleitungen, die der Zeile von Teilarrays zugeordnet sind, über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig variiert, wobei Spaltenleitungen den Pixeln der zweidimensionalen Verteilung von Pixeln 12 derart zugeordnet sind, dass gleichermaßen für alle Teilarrays der Zeile von Teilarrays die Zeilenleitungen, die dieser Zeile von Teilarrays zugeordnet sind, in m Gruppen gegliedert sind, und dass binnen jeden Teilarrays der Zeile von Teilarrays gilt, dass die Pixel, die mit einer jeweiligen Zeilenleitung aus der gleichen Gruppe verbindbar oder verbunden sind, der gleichen Spaltenleitung zugeordnet sind, während Pixel, die Zeilenleitungen unterschiedlicher Gruppen zugeordnet sind, unterschiedlichen Spaltenleitungen zugeordnet sind. 6d In other words, it shows an image sensor with a two-dimensional distribution of pixels 12 with regular arrangement in columns and rows and a wiring structure having row wirings with a respective associated row address, which are respectively connectable or connected to pixels in different rows of the two-dimensional distribution, in a manner irregular over the columns of the two-dimensional distribution. Here are the row lines 50 each with one pixel 12 connectable or connected in each column of the two-dimensional distribution. The wiring structure also has column lines, each of the pixels 12 a respective column of the two-dimensional distribution are assigned, and to each of which an analog / digital converter 20 the read-out circuit is connected, so that when one of the row lines is driven, the pixel values of the pixels which can be connected or connected to this row line are digitized. The two-dimensional distribution of pixels in this case is subdivided into two-dimensional sub-arrays which are respectively n rows and m columns large, so that the sub-arrays in turn also regularly in rows and columns on the two-dimensional distribution of pixels 12 are distributed, wherein for each row of sub-arrays n × m row lines with one each associated row addresses, each associated with exactly one pixel in each subarray of the row of subarrays, wherein an association between the pixels of the subarrays of the row of subarrays and the row wirings associated with the row of subarrays, over the two dimensional Distribution of pixels varies irregularly, where column lines are the pixels of the two-dimensional distribution of pixels 12 are assigned such that equally for all subarrays of the row of subarrays, the row wirings associated with that row of subarrays are organized into m groups, and that within each subarray of the row of subarrays, the pixels associated with a respective row lead from the same group are connected or connected to the same column line, while pixels associated with row lines of different groups are assigned to different column lines.
Natürlich ist zusätzlich zu den Ausführungsbeispielen von 6a–6e darüber hinaus eine Skalierung mit höheren Zahlen möglich, aber dies erhöht natürlich auch immer den Verdrahtungsaufwand.Of course, in addition to the embodiments of 6a - 6e moreover, scaling with higher numbers is possible, but of course this always increases the wiring effort.
Wie es bereits im Vorhergehenden erwähnt worden ist, ist es bei den Ausführungsbeispielen von 6b–6e so, dass es sich bei den dort gezeigten Zeilenleitungen um Rücksetzzeilenleitungen, Akkumulationsstoppzeilenleitungen oder um Auslesezeilenleitungen handeln kann. Ist die Pixelarchitektur der Pixel so, dass Ausleseaktivierung auch gleichzeitig das Ende der Akkumulation bedeutet, so sind die Auslesezeilenleitungen auch gleichzeitig die Akkumulationsstoppzeilenleitungen. Mit der Führung der Auslesezeilenleitungen gemäß einem der Ausführungsbeispiele der 6b–6e kann eine Realisierung der Vorteile und des Ausführungsbeispiels von 5 erzielt werden, wie es im Vorhergehenden beschrieben worden ist. Ganz unabhängig davon können auch die Rücksetzzeilenleitungen gemäß einem der Ausführungsbeispiele von 6b–6e geführt werden, und zwar beispielsweise auch gemäß einem unterschiedlichen dieser Figuren anders als beispielsweise die Auslesezeilenleitungen. Welche Effekte erzielt werden können, wenn obige Randomisierung für die Rücksetzzeilenleitungen und/oder die Akkumulationsstoppzeilenleitungen durchgeführt wird, wird im Folgenden beschrieben. Die Vorteile, wie sie sich durch Einteilung in echte Teilmengen von Pixelnergeben, sind die folgenden: (1) Der Sensor kann wie herkömmlich vollständig ausgelesen werden. In einer Nachverarbeitung müssen die Bildpunkte nur umsortiert werden – ohne zusätzliche Interpolation werden damit vollständige und hochauflösende Bilder erzeugt. (2) Die Erstellung einer Vorschau kann einfach durch Auslesen einer Teilmenge erzeugt werden. Beispielsweise kann durch eine 2 × 2 Unterteilung direkt eine Vorschau mit % Auflösung erzeugt werden. Anders als bei einer völlig zufälligen Teilmenge ist gemäß obigem Ausführungsbeispielen in jeder 2 × 2 Region genau ein Wert bekannt. Die Daten liegen daher direkt als Vorschau in einer 1/4 niedrigeren Auflösung vor.As has already been mentioned above, it is in the embodiments of 6b - 6e such that the row lines shown there can be reset row lines, accumulation stop line lines or readout row lines. If the pixel architecture of the pixels is such that readout activation also means the end of the accumulation at the same time, then the readout line lines are at the same time the accumulation stop line lines. With the guidance of the readout line according to one of the embodiments of the 6b - 6e may be an implementation of the advantages and the embodiment of 5 achieved as described above. Quite independently, the reset row lines according to one of the embodiments of 6b - 6e are guided, for example, according to a different of these figures differently than, for example, the Auslesezeilenleitungen. What effects can be achieved when performing above randomization for the reset row lines and / or the accumulation stop line lines will be described below. The advantages of dividing into real subsets of pixels are as follows: (1) The sensor can be read completely as usual. In a post-processing, the pixels only have to be resorted to - complete and high-resolution images are generated without additional interpolation. (2) The creation of a preview can be easily generated by reading a subset. For example, a 2 × 2 subdivision can directly generate a% resolution preview. Unlike a completely random subset, according to the above embodiments, exactly one value is known in every 2 × 2 region. The data is therefore available directly as a preview in a 1/4 lower resolution.
7a zeigt einen Bildsensor 10 gemäß einem weiteren Ausführungsbeispiel, der ein Pixelarray mit Pixeln 12 umfasst, wobei die weiteren Elemente, die in 7a gezeigt sind, in ihrer grundsätzlichen Funktion bereits im Vorhergehenden beschrieben worden sind, weshalb eine erneute Beschreibung dieser Elemente hier weggelassen wird. Die Ausgestaltung der letzteren Elemente ist zudem optional und kann auch anders ausgeführt sein. Insbesondere umfasst der Bildsensor von 7a eine zweidimensionale Verteilung von Pixeln 12, wobei in 7a lediglich exemplarisch wieder eine regelmäßige Anordnung in Spalten und Zeilen gewählt worden ist. Zudem weist der Bildsensor 10 für eine Bildaufnahme über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig variierende Shutter-Startzeitpunkte treset und/oder Shutter-Endzeitpunkte tread auf. In anderen Worten ausgedrückt, ist der Bildsensor 10 so ausgebildet, dass die Shutter-Startzeitpunkte und/oder die Shutter-Endzeitpunkte für eine Bildaufnahme über die zweidimensionale Verteilung von Pixeln 12 hinweg unregelmäßig variiert. 7a shows an image sensor 10 according to another embodiment, which is a pixel array with pixels 12 comprising, wherein the further elements, in 7a are already described in their basic function in the foregoing, so a description of these elements will be omitted here. The design of the latter elements is also optional and can also be designed differently. In particular, the image sensor comprises 7a a two-dimensional distribution of pixels 12 , where in 7a merely by way of example again a regular arrangement in columns and rows has been selected. In addition, the image sensor has 10 for an image recording on the two-dimensional distribution of pixels irregularly varying shutter start time t reset and / or shutter end times t read on. In other words, the image sensor is 10 configured such that the shutter start times and / or the shutter end times for image acquisition via the two-dimensional distribution of pixels 12 varies irregularly.
Unterschiedlichste Effekte können hierdurch erzielt werden. Sie werden im Folgenden näher erörtert. Eine Möglichkeit, wie die unregelmäßige Variation der Shutter-Startzeitpunkte realisiert werden kann, besteht darin, eine der Optionen gemäß 6b–6e für Rücksetzzeilenleitungen zu verwenden, und eine Option zur Realisierung der unregelmäßigen Variation der Shutter-Endzeitpunkte besteht darin, eine der Optionen von 6b–6e für die Akkumulationsstopp- oder Auslesezeilenleitungen zu verwenden. Für jedes Pixel an der Pixelposition (i, j) in dem Pixelarray von 7a ergibt sich damit eine Akkumulationszeitdauer von tread (i,j) – treset (i,j) = Δt(i,j). Jedes Pixel akkumuliert in dieser Akkumulationszeitdauer. Der sich ergebende Akkumulationszustand wird dann über eine entsprechende Spaltenleitung 52 ausgelesen, wie z. B. über einen dieser Spaltenleitung zugeordneten Verstärker und einen A/D-Wandler, oder sind die Akkumulationszeitdauern für die verschiedenen Pixel unterschiedlich, so kann die Ausleseschaltung 36 des Bildsensors 10 ausgebildet sein, um einen am Ende eines jeweiligen Shutter-Endzeitpunkts erhaltenen Akkumulationswert der Pixel 12 zum Ausgleich unterschiedlicher Shutter-Zeitdauern jeweils um einen Faktor zu berichtigen, der von einem Inversen der jeweiligen Shutter-Zeitdauer abhängt. Dies ist in 7a mit entsprechenden Multiplizierern 54 angedeutet, die in 7a exemplarisch in Anschluss an die A/D-Wandler 20 angeordnet sind, um den digitalisierten Akkumulationswert mit dem Inversen von Δt, d. h. der Akkumulationszeitdauer des entsprechenden Pixels 12, zu multiplizieren.Different effects can be achieved hereby. They will be discussed in more detail below. One way in which the irregular variation of the shutter start times can be realized is to choose one of the options according to 6b - 6e for reset line lines, and an option for realizing the irregular variation of the shutter end times is one of the options of 6b - 6e for the accumulation stop or readout line lines. For each pixel at the pixel position (i, j) in the pixel array of 7a This results in an accumulation period of t read (i, j) -t reset (i, j) = Δt (i, j) . Each pixel accumulates in this accumulation period. The resulting accumulation state is then passed through a corresponding column line 52 read out, such. B. via one of these column line associated amplifier and an A / D converter, or are the accumulation periods for the different pixels different, so the readout circuit 36 of the image sensor 10 be formed to be an accumulation value of the pixels obtained at the end of each shutter end time 12 to compensate for different shutter durations each by a factor that depends on an inverse of the respective shutter time duration. This is in 7a with corresponding multipliers 54 indicated in the 7a exemplary in connection to the A / D converter 20 are arranged to the digitized accumulation value with the inverse of Δt, ie the accumulation time duration of the corresponding pixel 12 to multiply.
Die Multiplizierer 54 können fehlen, wenn der Bildsensor 10 derart ausgebildet ist, dass eine Differenz zwischen dem Shutter-Startzeitpunkt und dem Shutter-Endzeitpunkt für jedes Pixel gleich ist. Dies kann beispielsweise geschehen, indem in dem Fall der Verwendung der Verdrahtungsstrukturen einer der Figuren von 6b–6e die Rücksetzzeilenleitungen und die Auslesezeilenleitungen bzw. die Akkumulationsstoppzeilenleitungen gleich geführt sind, um mit den gleichen Pixeln verbunden bzw. verbindbar zu sein, und dieselben über den Zeilendecoder 16 in dem gleichen zeitlichen Ablauf, aber eben um das gemeinsame Akkumulationszeitintervall Δt angesteuert werden. Natürlich kann der Bildsensor 10 auch derart ausgebildet sein, dass die Differenz Δt über die zweidimensionale Verteilung von Pixeln, 12 hinweg unregelmäßig variiert. In dem Fall einer gleichen Akkumulationszeitdauer Δt für alle Pixel variieren also die Shutter-Startzeitpunkte und die Shutter-Endzeitpunkte in gleicher Weise unregelmäßig über das Pixelarray hinweg, wohingegen im Fall der unregelmäßigen Variation von Δt die Variable Δt über das Pixelarray hinweg unregelmäßig variiert, wobei, wie bereits im Vorhergehenden erwähnt, über eine geringe Korrelation über lokale Bereiche ausreicht, wie es im Vorhergehenden beschrieben worden ist, wobei die vorhergehenden Aussagen in Bezug auf Aussehen der Autokorrelationsfunktion entsprechend auf Δt anzuwenden wären.The multipliers 54 may be missing when the image sensor 10 is formed such that a difference between the shutter start time and the shutter end time is the same for each pixel. This can be done, for example, by, in the case of using the wiring structures of one of the figures of 6b - 6e the reset row lines and the readout line lines and the accumulation stop line lines are equally guided to be connected to the same pixels, and the same via the row decoder 16 in the same time sequence, but just to the common accumulation time interval .DELTA.t be controlled. Of course, the image sensor can 10 be formed such that the difference .DELTA.t on the two-dimensional distribution of pixels, 12 varies irregularly. Similarly, in the case of a same accumulation period Δt for all pixels, the shutter start timings and the shutter end timings vary irregularly across the pixel array, whereas in the case of the irregular variation of Δt, the variable Δt varies irregularly over the pixel array, wherein as already mentioned above, is sufficient over a low correlation over local areas, as described above, the previous statements regarding the appearance of the autocorrelation function being to be applied correspondingly to Δt.
Auf diese Weise kann der Bildsensor 10 derart ausgebildet sein, dass für jeden Zeitpunkt innerhalb eines Bildaufnahmeintervalls für die Bildaufnahme gilt, dass die Pixel, deren Shutter-Intervall Δt zwischen dem jeweiligen Shutter-Start- und Shutter-Endzeitpunkt jeden Zeitpunkt beinhaltet, die über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig verteilt sind.In this way, the image sensor 10 such that, at any time within an image acquisition interval for the image acquisition, the pixels whose shutter interval Δt between the respective shutter start and shutter end times includes each time point irregularly spread over the two-dimensional distribution of pixels are.
Mit unterschiedlich langen Akkumulationszeitdauern Δt wäre es möglich, dass der Bildsensor derart ausgebildet ist, dass über ein Bildaufnahmeintervall für die Bildaufnahme hinweg eine Anzahl von Pixeln, deren Shutter-Intervall zwischen dem jeweiligen Shutter-Start- und Shutter-Endzeitpunkt gerade vorliegt, in etwa gleich bleibt. Notwendig wäre dies aber nicht.With different length of accumulation periods Δt, it is possible for the image sensor to be configured such that over an image pickup interval for the image pickup, a number of pixels whose shutter interval is present between the respective shutter start and shutter end times are approximately equal remains. But this would not be necessary.
Die Vorteile, die durch den Bildsensor von 7a geliefert werden, sind vielfältig. Die Möglichkeit, die Akkumulationsintervalle der Pixel 12 über das Pixelarray hinweg unregelmäßig in dem Bildaufnahmeintervall zu platzieren, ermöglicht es beispielsweise, eine Bildszene nicht nur einfach örtlich, d. h. lateral, abzutasten, sondern auch in den Zeilen zu verschiedenen Zeitpunkten, wodurch es möglich werden könnte, auf Seiten des Bildrekonstruierers 22 eine Zeitinterpolation und eine Ortsinterpolation, also eine 3D-Interpolation in dem Orts-/Zeit-Raum, durchzuführen. Um dies zu veranschaulichen, sei auf 8 Bezug genommen.The advantages of using the image sensor of 7a are delivered, are varied. The possibility of the accumulation intervals of the pixels 12 Spacing irregularly in the imaging interval across the pixel array, for example, makes it possible to scan an image scene not only simply locally, ie laterally, but also in the lines at different times, which could become possible on the part of the image reconstructor 22 a time interpolation and a spatial interpolation, so a 3D interpolation in the location / time space to perform. To illustrate, be on 8th Referenced.
8 zeigt in einem Raum/Zeit-Diagramm Akkumulationsintervalle verschiedener Pixel innerhalb eines Bildaufnahmeintervalls 54. Die Zeitachse ist mit t beschriftet und die Achsen x und y zeigen in die Zeilen- bzw. Spaltenrichtung des Arrays von Pixeln. Das Raum/Zeit-Diagramm ist entlang der xy-Ebene in die Pixel unterteilt und das Bildaufnahmeintervall 54 ist entlang der Zeitachse t hier exemplarisch in vier Teilintervalle unterteilt, auf deren Intervallgrenzen die zeitlichen Positionen der Shutter-Startzeitpunkte und Shutter-Endzeitpunkte hier exemplarisch eingeschränkt sind. Gemäß dem Ausführungsbeispiel von 8 sind die Zeitintervalle Δt der einzelnen Pixel (i, j) zueinander unterschiedlich bzw. variieren über das Pixelarray hinweg, ebenso wie die Lage der Akkumulationszeitintervalle im Inneren des Bildaufnahmeintervalls 54, wobei in 8 die Akkumulationsintervalle der einzelnen Pixel schraffiert dargestellt sind. 8th shows in a space / time diagram accumulation intervals of different pixels within an image acquisition interval 54 , The time axis is labeled t and the x and y axes point in the row or column direction of the array of pixels. The space / time diagram is divided into pixels along the xy plane and the image acquisition interval 54 is divided along the time axis t here by way of example into four subintervals, on whose interval limits the temporal positions of the shutter start times and shutter end times are here exemplarily limited. According to the embodiment of 8th For example, the time intervals Δt of the individual pixels (i, j) are different from each other or vary over the pixel array, as well as the location of the accumulation time intervals in the interior of the image acquisition interval 54 , where in 8th the accumulation intervals of the individual pixels are shown hatched.
In dem Fall von 8 ist also die Bildszene mit so viel Werten abgetastet worden, wie Pixel vorliegen, wobei die Akkumulationsintervalle, in welchen diese Pixelwerte erhalten worden sind, in ihrer Lage und Länge innerhalb des Bildaufnahmeintervalls 54 variieren, wobei in dem Fall einer Verbindung des Bildsensors 10 von 7a mit einem Bildrekonstruierer 22 in einem Bildaufnahmesystem 24 gemäß 2 der Bildrekonstruierer 22 in der Lage sein kann, aus diesen Pixelwerten Abtastwerte der Bildszene in Abtastpunkten des 3D-Raums durchzuführen, nämlich dem N × M × 4 Abtastpunkten, wenn N die Anzahl der Zeilen des Pixelarrays, M die Anzahl der Spalten des Pixelarrays anzeigt und wobei die 4 hier exemplarisch die Anzahl der Teilintervalle angibt, in die das Bildaufnahmeintervall 54 geteilt worden ist. Auf diese Weise könnte es einem Bildrekonstruierer 22 ermöglicht werden, eine Bildszene genauer abzutasten als nur einmal in dem Bildaufnahmeintervall 54 für jedes Pixel, und das mit einer örtlichen Auflösung, d. h. mit einer Anzahl von Abtastwerten, die größer sein kann als die Anzahl der Pixel des zugrundeliegenden Pixelarrays von Pixeln 12, die zu einem Zeitpunkt während des Intervalls 54 gerade aktive sind. Die Anzahl der Abtastwerte der rekonstruierten Raum/Zeit-Szene könnte auch kleiner sein als die Anzahl an Abtastpunkte, die in 8 dargestellt sind, d. h. kleiner als N × M × 4.In the case of 8th Thus, if the image scene has been sampled with as many values as there are pixels, the accumulation intervals in which these pixel values have been obtained are in position and length within the image acquisition interval 54 vary, in the case of a connection of the image sensor 10 from 7a with a picture reconstructor 22 in an image acquisition system 24 according to 2 the image reconstructor 22 may be able to perform from these pixel values samples of the image scene in 3D space sampling points, namely N × M × 4 sampling points, if N indicates the number of rows of the pixel array, M indicates the number of columns of the pixel array, and where FIG Here, by way of example, specifies the number of subintervals in which the image acquisition interval 54 has been shared. That way, it could be a picture reconstructor 22 be allowed to scan an image scene more accurately than once in the image acquisition interval 54 for each pixel, and at a local resolution, ie, a number of samples, which may be greater than the number of pixels of the underlying pixel array of pixels 12 that at a time during the interval 54 are currently active. The number of samples of the reconstructed space / time scene could also be less than the number of samples in 8th are shown, that is smaller than N × M × 4.
Man sieht an 8, dass in dem Fall einer Videokamera die Unterteilung in Bildaufnahmeintervalle bzw. Frames auch verschwimmen könnte. Kontinuierlich würden zyklisch akkumulierende Pixel über das Pixelarray hinweg verteilt werden und Akkumulationsintervalle einzelner Pixel könnten sich über Zyklengrenzen hinweg erstrecken. You can see 8th in that, in the case of a video camera, the division into image acquisition intervals or frames could also be blurred. Continuously, cyclically accumulating pixels would be spread across the pixel array and accumulation intervals of individual pixels could extend across cycle boundaries.
Es wird darauf hingewiesen, dass zur Ermöglichung, dass die Shutter-Startzeitpunkte und die Shutter-Endzeitpunkte auf so wenig Teilintervallgrenzen verteilt werden, wie es in 8 exemplarisch der Fall war, es sein könnte, dass, wie im Vorhergehenden erwähnt, die Akkumulationsstoppleitungen von den Ausleseleitungen getrennt werden. Ein hohes Maß an Parallelität der Aktivierung ist bei den Rücksetzleitungen und Akkumulationsstoppleitungen möglich. Diese müssen auch nicht unbedingt zeilenweise verlaufen. Die Auslesedrahtungsstruktur kann sogar, wie in 6a gezeigt, ausgebildet sein, da bei Aktivierung hier die Pixel ja nur noch ihren jeweiligen Akkumulationswert ausgeben, den sie über das vorbestimmte Akkumulationsintervall erfasst haben.It should be noted that to enable the shutter start times and shutter end times to be distributed to as few sub-interval boundaries as shown in FIG 8th As an example, it could be that, as mentioned above, the accumulation stop lines are disconnected from the read lines. A high degree of parallelism of activation is possible with the reset lines and accumulation stop lines. These do not necessarily have to be line by line. The readout wiring structure may even, as in 6a shown, be formed here, when activated here, the pixels only output their respective accumulation value, which they have acquired over the predetermined accumulation interval.
Die vorhergehende Beschreibung der Vorteile, die sich aus der beschriebenen Variation der Shutter-Start- und/oder Shutter-Endzeitpunkte gemäß 7a ergeben, beschränkte sich auf die Möglichkeit der zeitlichen Interpolation und gegebenenfalls die Durchführung einer 3D-Rekonstruktion einer Bildszene. Ein weiterer Aspekt ergibt sich daraus, dass, wenn die Akkumulationszeitdauern Δt variieren, damit auch eine Variation der Empfindlichkeit der Pixel einhergeht. In dem Fall einer exemplarisch über das Bildfeld hinweg relativ gleichmäßig hellen Szene werden aufgrund der unterschiedlichen langen Akkumulationszeitdauern manche Pixel eventuell überbelichtet sein und manche nicht oder unterbelichtet oder dergleichen. Eine Überbelichtung findet statt, wenn der Akkumulationsspeicher des jeweiligen Pixels einen vorbestimmten maximalen Akkumulationszustand erreicht, ab welchem eine weitere Akkumulation nicht mehr erfasst wird, wie z. B. eine maximale Ladungsmenge erreicht ist. Eine Unterbelichtung läge vor, wenn selbst die kleinste Einheit der Analog/Digital-Wandler 20 nicht ausreicht, um den kleinen zu digitalisierenden Akkumulationswert zu erfassen, d. h. der ausgegebene Digitalwert 0 bleibt.The preceding description of the advantages resulting from the described variation of the shutter start and / or shutter end times according to FIG 7a resulted limited to the possibility of temporal interpolation and possibly the implementation of a 3D reconstruction of an image scene. Another aspect arises from the fact that as the accumulation time periods Δt vary, there is also a variation in the sensitivity of the pixels. In the case of a relatively uniformly bright scene across the field of view, due to the different long accumulation periods, some pixels may be overexposed and some may not be overexposed or underexposed or the like. An overexposure occurs when the accumulation memory of the respective pixel reaches a predetermined maximum accumulation state, from which further accumulation is no longer detected, such. B. a maximum amount of charge is reached. An underexposure would be present even if the smallest unit of the analog / digital converter 20 is insufficient to detect the small accumulation value to be digitized, ie the output digital value 0 remains.
Ein solches Vorkommnis, d. h. eine Überbelichtung oder eine Unterbelichtung, könnte den jeweiligen Pixelwert dem jeweiligen Analog/Digital-Wandler 20 angezeigt werden, was in 7a durch eine eigene Leitung neben der Ausgangsleitung, die hier exemplarisch zu den Multiplizierern 54 führt, veranschaulicht ist. Eine extra Leitung ist aber nicht unbedingt erforderlich, sondern das Vorliegen des maximalen Digitalwerts selbst kann beispielsweise als ein Anzeichen gesehen werden, dass der Wert überbelichtet ist. Unterbelichtete Werte müssen nicht unbedingt weiter beachtet werden. Der Rekonstruierer 22 erhält also aufgrund der unterschiedlich langen Akkumulationsintervalle Δt der Pixel eventuell ein Bild mit „Bildausfällen”, die aber, aufgrund beispielsweise der unregelmäßigen Verteilung der Akkumulationsintervalllänge Δt über das Pixelarray hinweg, unregelmäßig über das Array verteilt sind, weshalb eine Interpolation in dem Bildrekonstruierer 22 ohne weiteres möglich ist.Such an event, ie overexposure or underexposure, could expose the respective pixel value to the respective analog-to-digital converter 20 to be displayed in what 7a through its own line next to the output line, here exemplified to the multipliers 54 leads, is illustrated. However, an extra lead is not necessarily required, but the presence of the maximum digital value itself, for example, can be seen as an indication that the value is overexposed. Underexposed values do not necessarily have to be taken into account. The reconstructor 22 Thus, due to the different length of accumulation intervals Δt of the pixels, it may receive an image with "image failures", but due to, for example, the irregular distribution of the accumulation interval Δt across the pixel array, are irregularly distributed throughout the array, thus interpolating in the image reconstructor 22 is readily possible.
Insgesamt ergibt sich aber ein Vorteil daraus, dass ein Bildaufnahmesystem mit einem Bildsensor 10, der gemäß der Beschreibung der 7a für die einzelnen Pixel Akkumulationsintervalle unterschiedlicher Länge verwendet, die über das Pixelarray hinweg unregelmäßig variiert, daraus, dass die Bildszene insgesamt mit unterschiedlichen Empfindlichkeiten abgetastet wird. So existieren manche Pixel, die die Bildszene mit langen Akkumulationsintervallen abtasten, so dass auch dunkle Stellen ausreichend genau abgetastet werden. Andererseits existieren Pixel, die die Bildszene mit kurzen Akkumulationsintervallen abtasten, und somit seltener zu einer Überbelichtung führen. Insgesamt wird die gesamte Szene auf diese Weise mit unterschiedlichen Belichtungsintervallen abgetastet. Ausfälle aufgrund von Überbelichtungen sind aufgrund der unregelmäßigen Verteilung unregelmäßig über das Pixelarray verteilt und lassen sich deshalb, wie soeben beschrieben, durch Interpolation gut korrigieren. Auf diese Weise ist die mehrfache Aufnahme einer Bildszene mit dem damit verbundenen Nachteil, dass nur statische Szenen aufgenommen werden könnten, nicht notwendig.Overall, however, there is an advantage that an image recording system with an image sensor 10 , which according to the description of 7a For the individual pixels, use is made of accumulation intervals of different lengths, which vary irregularly over the pixel array, from the fact that the image scene as a whole is scanned at different sensitivities. Thus, there are some pixels that scan the image scene with long accumulation intervals, so that even dark spots are scanned with sufficient accuracy. On the other hand, there are pixels that scan the image scene with short accumulation intervals, and thus rarely cause overexposure. Overall, the entire scene is scanned in this way at different exposure intervals. Failures due to overexposure are distributed irregularly across the pixel array because of the irregular distribution, and therefore can be well corrected by interpolation, as just described. In this way, the multiple recording an image scene with the associated disadvantage that only static scenes could be recorded, not necessary.
Bei dem letztgenannten Aspekt des Ausführungsbeispiels von 7a spielt also die unregelmäßige Verteilung der Akkumulationszeitdauer Δt eine große Rolle. Sie kann ebenfalls unter Ausnutzung von Ausführungsbeispielen gemäß der 6b–6e realisiert werden bzw. in Ausführungsbeispielen, die in Bezug auf diese Figuren beschrieben worden sind, indem nämlich beispielsweise über den Zeilendecoder 16 die Zeilenleitungen bzw. die entsprechenden Zeilenadressen über das Pixelarray hinweg bzw. über die Zeilen des Pixelarrays hinweg durcheinander bzw. zufällig oder randomisiert angesteuert werden, wobei entweder eine andere Verbindungsstrukturrandomisierung für Rücksetzzeilenleitungen einerseits und Auslese- bzw. Akkumulationsstoppzeilenleitungen andererseits verwendet wird und/oder eine andere zufällige Permutation der Zeilenadressnummern durchlaufen wird.In the latter aspect of the embodiment of 7a Thus, the irregular distribution of the accumulation period Δt plays a major role. It can also by taking advantage of embodiments according to the 6b - 6e or in embodiments described with respect to these figures, namely, for example, via the row decoder 16 the row lines or the corresponding row addresses are driven randomly or randomly over the pixel array or across the rows of the pixel array, using either another connection structure trimming for reset row lines on the one hand and readout and accumulation stop line lines on the other hand and / or another one random permutation of the row address numbers.
Letztere Ausführungsbeispiele ermöglichten also auch zufällige Belichtungen durch eine Adressrandomisierung. Um dies zu veranschaulichen, sei noch einmal auf 9 Bezug genommen. Die Bilderfassung an einem einzelnen Pixel beginnt mit einem Rücksetzen des Pixels und endet mit einem Auslesen oder zumindest einem Akkumulationsstopp des Pixels. Der Zeitversatz zwischen diesen zwei Operationen wird als Belichtungszeit oder Akkumulationszeitdauer bezeichnet. Für traditionelle Bildaufnahmen wird die gleiche Belichtungszeitdauer über den gesamten Bildsensor hinweg verwendet. Eine Rolling-Shutter-Implementierung sieht vor, dass die Zeilen sequentiell gestartet und gestoppt werden, wie es in 9a versinnbildlicht ist. Mit einem Global-Shutter-Mechanismus beginnt die Belichtung für alle Pixel zum gleichen Zeitpunkt, ebenso wie sie zum gleichen Zeitpunkt für alle Pixel endet, wie es in 9b gezeigt ist. The latter embodiments thus also enabled random exposures by an address randomization. To illustrate, be up again 9 Referenced. Image capture on a single pixel begins with a reset of the pixel and ends with a read or at least an accumulation stop of the pixel. The time offset between these two operations is referred to as exposure time or accumulation time. For traditional imaging, the same exposure time is used across the entire image sensor. A rolling shutter implementation requires that the rows be sequentially started and stopped, as in 9a is symbolized. With a global shutter mechanism, the exposure starts for all pixels at the same time, just as it ends up at the same time for all the pixels, as in 9b is shown.
Es existieren auch andere Formen der Belichtung. In [6] ist beispielsweise eine codierte Belichtung beschrieben, die Unterbrechungen in der Belichtung aufweist. Eine solche Belichtung kann ebenfalls mit einem globalen Shutter oder einem Rolling-Shutter implementiert werden. In [6] wurde auch eine variable Belichtungszeit pro Zeile vorgeschlagen. Die Belichtungszeiten wurden basierend auf der Szenenintensität der entsprechenden Zeile eingestellt. Die adaptive, zeilenweise Autobelichtung ist in 9d versinnbildlicht.There are also other forms of exposure. In [6], for example, a coded exposure is described which has interruptions in the exposure. Such an exposure can also be implemented with a global shutter or a rolling shutter. In [6] a variable exposure time per line has also been proposed. The exposure times were set based on the scene intensity of the corresponding line. The adaptive, line by line auto exposure is in 9d symbolizes.
In dem Ausführungsbeispiel von 7a ist es möglich, eine zufällige Belichtung mit den Vorteilen, wie sie im Vorhergehenden beschrieben worden sind, zu erzielen. Eine Möglichkeit, wie dies aussehen kann, ist in 9e gezeigt. Die Belichtungsintervalle bzw. Akkumulationszeitintervalle sind hier in Linien angezeigt. Shutter-Start- und Shutter-Endzeitpunkte sind mit Kreuzchen bzw. Kreisen angezeigt. Wie es gezeigt ist, kann es sein, dass sowohl die Start- als auch die Endzeitpunkte jeder Akkumulation zufällig und gleichmäßig über das Pixelarray des Bildsensors verteilt sind. Wenn die Implementierung gemäß 6b–6e gewählt wird, dann kann zu jedem Zeitpunkt lediglich ein einzelner Rücksetzvorgang und ein einzelner Auslesevorgang für eine jeweilige Zeile durchgeführt werden. Das daraus resultierende Bild bzw. die daraus resultierenden Bilddaten erfassen nun einen weiteren Bereich von zufälligen Belichtungszeitdauern und kann somit zur Rekonstruktion eines HDR-Bildes, d. h. eines Bildes mit einem hohen Dynamikbereich, verwendet werden, wobei die Rekonstruktion beispielsweise wieder in dem Bildrekonstruierer 22 durchgeführt wird.In the embodiment of 7a it is possible to achieve a random exposure with the advantages as described above. One way how this can look is in 9e shown. The exposure intervals or accumulation time intervals are shown here in lines. Shutter start and shutter end times are indicated by crosses or circles. As shown, both the start and end times of each accumulation may be randomly and evenly distributed across the pixel array of the image sensor. If the implementation according to 6b - 6e is selected, then at any one time only a single reset and a single read can be performed for each row. The resulting image (s) now capture a wider range of random exposure times and can thus be used to reconstruct an HDR image, ie, a high dynamic range image, with the reconstruction again in the image reconstructor, for example 22 is carried out.
Wie es im Vorhergehenden beschrieben worden ist, lässt sich die unregelmäßige Verteilung der Akkumulationszeitdauern Δt sehr gut mit den obigen Ausführungsbeispielen von 6 verbinden.As has been described above, the irregular distribution of the accumulation time periods Δt is very well achieved with the above embodiments of FIG 6 connect.
Obige Ausführungsbeispiele von 7a beschreiben also einen Bildsensor mit einer zweidimensionalen Verteilung von Pixeln 12, der derart konfiguriert ist, dass derselbe für eine Bildaufnahme über die zweidimensionale Verteilung von Pixeln 12 hinweg unregelmäßig variierende Shutter-Start und/oder Shutter-Endzeitpunkte aufweist. Der Bildsensor kann eine Ausleseschaltung 36 aufweisen, die ausgebildet ist, um einen am Ende eines jeweiligen Shutter-Endzeitpunktes erhaltenen Akkumulationswert der Pixel 12 zum Ausgleich unterschiedlicher Shutter-Zeitdauern jeweils mit einem Faktor zu gewichten, der von einem Inversen der jeweiligen Shutter-Zeitdauer abhängt, die durch eine Zeitdauer zwischen dem jeweiligen Shutter-Startzeitpunkt und Shutter-Endzeitpunkt definiert ist. Der Bildsensor kann derart ausgebildet sein, dass für jeden Zeitpunkt innerhalb eines Bildaufnahmeintervalls 56 für die Bildaufnahme gilt, dass die Pixel 12, deren Shutter-Startzeitpunkt vor und deren Shutter-Endzeitpunkt nach diesem Zeitpunkt liegt, über die zweidimensionale Verteilung von Pixeln 12 hinweg unregelmäßig verteilt sind. Der Bildsensor kann ferner derart ausgebildet sein, dass über ein Bildaufnahmeintervall 56 für die Bildaufnahme hinweg eine Anzahl gerade akkumulierender Pixel in etwa gleich bleibt. Der Bildsensor kann ferner derart ausgebildet sein, dass eine Differenz zwischen Shutter-Startzeitpunkt und Shutter-Endzeitpunkt für alle Pixel gleich ist, oder eine Differenz zwischen Shutter-Startzeitpunkt und Shutter-Endzeitpunkt über die zweidimensionale Verteilung von Pixeln hinweg unregelmäßig variiert. Die Ausleseschaltung 36 kann für die Bildaufnahme Pixel 12 identifizieren, die an einen Akkumulationsüberlauf erfahren haben. Wenn die zweidimensionale Verteilung der Pixel 12 Spalten und Zeilen aufweist, kann der Bildsensor Zeilenrücksetzleitungen aufweisen, über die damit verbundene oder verbindbare Pixel aktivierbar sind, um den Shutter-Startzeitpunkt zu definieren, und/oder Zeilenakkumulationsstoppleitungen, über die damit verbundene oder verbindbare Pixel aktivierbar sind, um den Shutter-Endzeitpunkt zu definieren. Diese Zeilenleitungen können jeweils mit Pixeln in unterschiedlichen Zeilen der zweidimensionalen Verteilung verbindbar oder verbunden sein, und zwar in einer über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßigen Weise, und/oder mit jeweils einem Pixel aus einer echten Teilmenge der Spalten der zweidimensionalen Verteilung verbindbar oder verbunden sein, wobei die Spalten, die zu der echten Teilmenge gehören, über die Spalten der zweidimensionalen Verteilung hinweg unregelmäßig verteilt sind. Bei den Zeilenakkumulationsstoppleitungen kann es sich um Zeilenausleseleitungen handeln, über die die damit jeweils verbundenen bzw. verbindbaren Pixel aktivierbar sind, um über jeweilige Spaltenleitungen des Bildsensors mit einer Ausleseschaltung des Bildsensors verbunden zu werden, die ausgebildet ist, um einen bis zur Aktivierung der jeweiligen Zeilenausleseleitung erhaltenen Akkumulationswert der mit der jeweiligen Zeilenausleseleitung verbindbaren oder verbundenen Pixel 12 auszulesen. Der Bildsensor kann ausgebildet sein, um die Zeilenausleseleitungen sequentiell randomisiert anzusteuern, was fest verdrahtet realisiert oder umprogrammierbar realisert sein kann. Der Bildsensor kann so ausgebildet ist, dass zu jedem Zeitpunkt über die Ansteuerung der Zeilenausleseleitungen eine Anzahl von Pixeln aktiviert ist, die der Anzahl an Spalten der zweidimensionalen Verteilung von Pixeln 12 entspricht, um über eine jeweilige Spaltenausleseleitung der Verdrahtungsstruktur ausgelesen zu werden. Die Unregelmäßigkeit der Shutter-Startzeitpunkte, der Shutter Endzeitpunkte, oder der Shutter-Zeitdauer kann wiederum derart sein, dass eine Korrelation derselben in Bezug auf zwei beliebige Pixel mit einem Mittenabstand zwischen denselben, der kleiner als ein vorbestimmter Abstand ist, kleiner 0,5 ist, wobei der vorbestimmte Abstand 10, 5, oder 3 Mal einen Pixelwiderholabstand des regelmäßigen Arrays betragen kann. Ein Bildaufnahmesystem kann einen solchen Bildsensor 10 und einen Bildrekonstruierer 22 aufweisen. Letzterer kann ausgebildet sein, um Pixelwerte überbelichteter Pixel durch Interpolation zu rekonstruieren, und/oder eine 3D-Rekonstruktion einer zeitlichen Abtastung einer Bildszene auf Basis der Pixelwerte durchzuführen, die von dem Bildsensor gewonnen werden.The above embodiments of 7a So describe an image sensor with a two-dimensional distribution of pixels 12 which is configured to be the same for imaging via the two-dimensional distribution of pixels 12 has irregularly varying shutter start and / or shutter end times. The image sensor can be a readout circuit 36 which is adapted to obtain an accumulation value of the pixels obtained at the end of each shutter end time 12 to balance different shutter durations each with a factor that depends on an inverse of the respective shutter time duration defined by a period between the respective shutter start time and shutter end time. The image sensor may be configured such that at any time within an image acquisition interval 56 for image capture, that applies the pixels 12 whose shutter start time is before and whose shutter end time is after this time, via the two-dimensional distribution of pixels 12 are distributed irregularly. The image sensor may be further configured such that over an image acquisition interval 56 For the image acquisition, a number of currently accumulating pixels remains approximately the same. The image sensor may be further configured such that a difference between shutter start time and shutter end time is the same for all pixels, or a difference between shutter start time and shutter end time irregularly varies over the two-dimensional distribution of pixels. The readout circuit 36 can be used for image capture pixels 12 identify who have experienced an accumulation overflow. If the two-dimensional distribution of the pixels 12 Columns and rows, the image sensor may have row reset lines over which connected or connectable pixels are activatable to define the shutter start time, and / or line accumulation stop lines via which connected or connectable pixels are activatable at the shutter end time define. These row lines may each be connectable or connected to pixels in different rows of the two-dimensional distribution, in an irregular manner across the columns of the two-dimensional distribution, and / or connectable or connected to one pixel from a true subset of the columns of the two-dimensional distribution and the columns belonging to the true subset are distributed irregularly across the columns of the two-dimensional distribution. The line accumulation stop lines can be line read lines, via which the respectively connected pixels can be activated to be connected via respective column lines of the image sensor to a readout circuit of the image sensor, which is designed to activate one of the respective line read lines obtained accumulation value of the respective line readout line connectable or connected pixels 12 read. The image sensor can be designed to sequentially randomize the line readout lines, which can be realized as hardwired or reprogrammable. The image sensor can be designed such that a number of pixels which are the number of columns of the two-dimensional distribution of pixels is activated at any time via the control of the line read-out lines 12 corresponds to be read out via a respective column readout line of the wiring pattern. Again, the irregularity of the shutter start timings, the shutter end times, or the shutter time duration may be such that a correlation thereof with respect to any two pixels having a pitch therebetween smaller than a predetermined distance is less than 0.5 wherein the predetermined distance may be 10, 5, or 3 times a pixel repeat distance of the regular array. An image capture system may include such an image sensor 10 and an image reconstructor 22 exhibit. The latter may be configured to reconstruct pixel values of overexposed pixels by interpolation, and / or perform a 3D reconstruction of a temporal scan of an image scene based on the pixel values obtained by the image sensor.
7b und 7c zeigen noch weitere Möglichkeiten der Realisierung der Randomisierung von Shutterzeiten. 7b zeigt – aufgetragen über die Zeit entlang der Horizontalen- die Adressen der randomisiert angesteuerten Zeilenleitungen. Es kann sich um jedweden Leitungstyp handeln. 7c zeigt, dass eine Unterteilung in Belichtungen sowohl mit Rücksetzen als auch, alternativ, ohne Rücksetzen erfolgen kann, d. h. dass es auch die Möglichkeit geben kann, Akkumulationsstoppleitungen Zwischenwerte im Lauf eines Bildaufnahmeintervalls zu erfassen. 7b and 7c show even more ways of realizing the randomization of shutter times. 7b shows - plotted over time along the horizontal - the addresses of the randomly driven row lines. It can be any type of line. 7c shows that subdivision into exposures can be done both with resetting and, alternatively, without resetting, ie that there may also be the possibility to detect accumulation stop lines intermediate values during an image acquisition interval.
Ähnlich dem zuletzt genannten Aspekt der Randomisierung der Belichtungszeitdauern wird das im Folgenden Bezug nehmend auf 10 beschriebene Ausführungsbeispiel für einen Bildsensor eine Randomisierung der Verstärkung bzw. eine zufällige Verstärkungsvariation, um die Rekonstruktion eines HDR-Bildes zu fördern. Der Bildsensor 10 von 10 umfasst wieder eine zweidimensionale Verteilung von Pixeln 12, aber diesmal darüber hinaus auch einen über die zweidimensionale Verteilung von Pixeln 12 hinweg unregelmäßig variierenden ND-Filter, der in 10 zwar direkt nicht gezeigt ist, aber dessen Variation in seiner ND-Filterstärke über das Pixelarray hinweg. Letztere ist in 10 mit Ziffern angedeutet, die in die Pixel 12 geschrieben sind und sich in 10 exemplarisch nur Werte von 1, 2, 3 oder 4 annehmen. Die ND-Filterstärke des ND-Filters muss sich von Pixel zu Pixel aber nicht unbedingt in ganzzahligen Vielfachen zueinander andern, sondern die Variation kann natürlich auch jegliche Verhältnisse unter den Pixeln annehmen.Similar to the last-mentioned aspect of the randomization of the exposure periods, reference will be made below 10 described embodiment for an image sensor, a randomization of the gain or a random gain variation to promote the reconstruction of an HDR image. The image sensor 10 from 10 again comprises a two-dimensional distribution of pixels 12 , but this time also about the two-dimensional distribution of pixels 12 irregularly varying ND filter in 10 Although not directly shown, but its variation in its ND filter strength across the pixel array. The latter is in 10 indicated with digits in the pixels 12 are written and reflected in 10 by way of example only assume values of 1, 2, 3 or 4. The ND filter strength of the ND filter does not have to change from pixel to pixel but not necessarily in integer multiples of each other, but the variation can of course also assume any relationships among the pixels.
Die Variation über das Pixelarray hinweg umfasst wieder, wie im Vorhergehenden bereits bei den anderen Ausführungsbeispielen dargelegt, auch eine lokale Dekorrelation, wohingegen Wiederholungen über das Pixelarray hinweg unkritisch sind. Bevorzugterweise variiert die ND-Filterstärke derart über das Pixelarray hinweg, dass ein statistischer lokaler Mittelwert der ND-Filterstärke über das Pixelarray hinweg in etwa konstant bleibt. Selbige Aussage gilt auch für beispielsweise Variationen der Akkumulationszeitdauer Δt in dem Ausführungsbeispiel von 7a bzw. 9 oder für die lokale Häufigkeit der Pixel, die den Teilbildern 40 angehören, ohne dass dies im Vorhergehenden speziell erwähnt worden wäre.Again, the variation across the pixel array, as previously set forth in the other embodiments, also includes local decorrelation, whereas repetitions across the pixel array are not critical. Preferably, the ND filter strength varies across the pixel array such that a statistical local average of the ND filter strength remains approximately constant across the pixel array. The same statement applies to, for example, variations of the accumulation period Δt in the embodiment of FIG 7a respectively. 9 or for the local frequency of the pixels, which are the fields 40 without mentioning it in the foregoing.
Ein ND-Filter, wie es der Bildsensor 10 von 10 verwendet, reduziert die einfallende Lichtmenge, ohne die Form des zur Akkumulation beitragenden Lichtspektrums zu verändern. Das heißt, das Frequenzspektrum des ND-Filters ist flach. Ein Beispiel für eine Implementierung eines ND-Filters mit variierender ND-Filterstärke über das Pixelarray hinweg ist beispielsweise das Bedecken des Pixelarrays mit einer Schicht 20, wie sie in 3e gezeigt worden ist. Allerdings eben so, dass jede photosensitive Fläche 30 der einzelnen Pixel 12 mit einem Prozentsatz bedeckt wird, der über das Pixelarray hinweg unregelmäßig variiert. Bei der Herstellung kann diese Regelmäßigkeit bzw. Zufälligkeit durch eine vorbestimmte Maske erzielt werden, d. h. vorherbestimmt sein, oder ein physikalischer Zufallsprozess bei der Herstellung kann verwendet werden, um den ND-Filterstärkevariationseffekt zu bewirken. Andere ND-Filter sind aber ebenfalls möglich. Eine unterschiedliche Ansteuerung könnte beispielsweise verwendet werden, um die Empfindlichkeit der einzelnen Pixel 12 zu verändern, um so zu einer ND-Filterung zu gelangen. Ein anderes Ausführungsbeispiel bestand ja, wie im Vorhergehenden erwähnt, darin, unterschiedliche Akkumulationszeitintervalle Δt zu verwenden.An ND filter like the image sensor 10 from 10 reduces the amount of incident light without changing the shape of the light spectrum contributing to the accumulation. That is, the frequency spectrum of the ND filter is flat. An example of an implementation of a ND filter with varying ND filter strength across the pixel array is, for example, covering the pixel array with a layer 20 as they are in 3e has been shown. However, just so that every photosensitive surface 30 the single pixel 12 is covered with a percentage that varies irregularly across the pixel array. In manufacturing, this regularity may be achieved by a predetermined mask, ie, predetermined, or a physical random process in fabrication may be used to effect the ND filter strength variation effect. Other ND filters are also possible. For example, a different drive could be used to increase the sensitivity of each pixel 12 to change to ND filtering. As mentioned above, another embodiment has been to use different accumulation time intervals Δt.
10 zeigt, dass der Bildsensor 10 eine Ausleseschaltung aufweisen kann, die die einzelnen Pixel 12 so ausliest, dass die Akkumulationswerte nach ihrem Auslesen mit einem Gewichtungswert d gewichtet werden, der einem Inversen der ND-Filterstärke des ND-Filters entspricht, die für das jeweilige Pixel gilt. In dem Fall einer Ausnutzung eines Zufallsprozesses bei der Herstellung kann der sich ergebende ND-Filterstärkenwert des jeweiligen Pixels unmittelbar nach der Herstellung ermittelt werden, um von da ab für die Bildrekonstruktion bzw. für den Ausgleich gegenüber anderen Werten verwendet zu werden. Zum Beispielspiel werden die ND-Filterstärkenwerte in einer ROM maske oder einem nicht flüchtigen Speicher bereitgestellt. Während der Kalibrierung der Kamera wird der tatsächliche Verstärkungswert pro Pixel gemessen und dann beispielsweise für die Bildrekonstruktion verwendet. Für die Rekonstruktion der Bildinformationen kann, wie es in 10 gezeigt ist, der gemessene und beispielsweise digitalisierte Akkumulationswert des jeweiligen Pixels gemäß der Verstärkung desselben skaliert werden. Einige Pixel werden aufgrund der erhöhten Empfindlichkeiten geclippt sein und sollten für die Interpolation unbeachtlich bleiben. Pixelwerte mit niedrigeren digitalen Werten könnte ein niedrigeres Gewicht bei der Interpolation verliehen werden. Auf diese Weise könnte der Bildrekonstruierer 22 einer Unsicherheit Rechnung tragen, die aus Rauschen resultiert. Die Rekonstruktion führt dann beispielsweise eine gemeinsame Optimierung hinsichtlich des Clippeffekts der Pixel und Rauschen durch. Diese Optionen stehen bereits durch die vorgeschlagene Rekonstruktion zur Verfügung, da eine Gewichtung für die Information für jedes Pixel verwendet wird. 10 shows that the image sensor 10 may comprise a readout circuit comprising the individual pixels 12 read out so that the accumulation values are weighted after their reading with a weighting value d corresponding to an inverse of the ND filter strength of the ND filter, which applies to the respective pixel. In the case of utilizing a random process in manufacturing, the resultant ND filter strength value of the respective pixel may be determined immediately after the production, to be used therefrom for image reconstruction and for compensation for other values, respectively. For example, the ND filter strength values are provided in a ROM mask or nonvolatile memory. During calibration of the camera, the actual gain per pixel is measured and then used for image reconstruction, for example. For the reconstruction of the image information can, as in 10 2, the measured and, for example, digitized accumulation value of the respective pixel is scaled according to the gain thereof. Some pixels will be clipped due to the increased sensitivities and should remain unimportant for interpolation. Pixel values with lower digital values could be given a lower weight in the interpolation. That way, the image reconstructor could 22 account for uncertainty resulting from noise. The reconstruction then performs, for example, a joint optimization with regard to the clipping effect of the pixels and noise. These options are already available through the proposed reconstruction because a weighting is used for the information for each pixel.
Auch das Ausführungsbeispiel von 10 und seine Vorteile sind somit auch für Kameras verwendbar, die bereits jetzt massenhaft verfügbar sind.Also, the embodiment of 10 and its advantages are therefore also usable for cameras that are already available in large quantities.
11 zeigt ein zu 10 ähnliches Ausführungsbeispiel eines Bildsensors, bei dem allerdings keine ND-Filterung des auf die photosensitive Fläche der Pixel einfallendes Lichtes durch die Akkumulationszeitdauer beeinflusst wird oder die Empfindlichkeit im Sinne der Akkumulation pro Lichteinheit variiert wird. Stattdessen wird lediglich eine Aufteilung des Bildaufnahmeintervalls in verschieden viele Teilintervalle vorgenommen, wobei die Anzahl über das Pixelarray hinweg unregelmäßig variiert. Die Unregelmäßigkeit ist in 11 wieder durch entsprechende Ziffern in den Pixeln 12 dargestellt. Sie kann programmierbar eingestellt und damit evtl. auch um-programmierbar oder durch Verdrahtung bzw. Layout festgelegt sein. Pixel, die mit 1 beschriftet sind, werden ganz normal belichtet, indem die Belichtung über das gesamte Bildaufnahmeintervall hinweg durchgeführt wird. Für die Pixel mit höheren Ziffern wird das Bildaufnahmeintervall in mehrere Teilintervalle geteilt, und der in jedem Teilintervalle erhaltene Teilakkumulationswert I wird ausgelesen und digitalisiert. Die so digitalisierten einzelnen Akkumulationswerte werden später addiert, um den entsprechenden Pixelwert zu ergeben. 11 indicates one 10 similar embodiment of an image sensor, however, in which no ND filtering of the incident light on the photosensitive surface of the pixel is affected by the accumulation time or the sensitivity is varied in terms of accumulation per light unit. Instead, only a division of the image acquisition interval is made in a different number of sub-intervals, the number varies irregularly over the pixel array. The irregularity is in 11 again by corresponding numbers in the pixels 12 shown. It can be programmed to be programmable and thus possibly also re-programmable or defined by wiring or layout. Pixels labeled 1 will be exposed as normal by performing the exposure for the entire image capture interval. For the pixels with higher digits, the image acquisition interval is divided into several subintervals, and the partial accumulation value I obtained in each subinterval is read out and digitized. The individual accumulated values thus digitized are added later to give the corresponding pixel value.
Wie es bezüglich 7b und 7c gezeigt ist, kann eine Unterteilung der Belichtungen mit Rücksetzen, aber auch oder ohne Rücksetzen erfolgen. Unabhängig vom digitalen ND Filter (gleiche Längen der Teilintervalle) ist damit eine beliebige zufällige Abtastung des Bildes möglich).As for re 7b and 7c is shown, a subdivision of the exposure can be done with reset, but also or without resetting. Regardless of the digital ND filter (equal lengths of the subintervals), this allows any random sampling of the image).
Es ergeben sich bei dieser Vorgehensweise ähnliche Vorteile in Bezug auf die Dynamikerhöhung der Bildaufnahme, die mit dem Bildsensor von 11 erzielbar ist, wie es im Vorhergehenden Bezug nehmend auf beispielsweise 10 oder 7a oder 9 beschrieben worden ist, da Pixel, deren Bildaufnahmeintervall in mehrere Teilintervalle unterteilt wird, weniger gefährdet sind, ihren Akkumulationsmaximalzustand zu überschreiten. Umgekehrt leiden Bildaufnahmen, die gemäß dem Bildsensor von 11 erzeugt werden, nicht an Problemen hinsichtlich Verschmierungsartefakten in Bewegtbildem bzw. Bildern mit bewegten Objekten, da alle Pixel ihre Akkumulation grundsätzlich über das gesamte Bildaufnahmeintervall hinweg durchführen, jedoch eben mit unterschiedlicher Unterteilung in unterschiedlich viele Teilintervalle.This approach provides similar advantages in terms of dynamic increase in image pickup with the image sensor of 11 achievable, as previously described, for example 10 or 7a or 9 has been described since pixels whose image acquisition interval is subdivided into several subintervals are less likely to exceed their accumulation maximum state. Conversely, images taken in accordance with the image sensor of 11 but not problems with smearing artifacts in moving pictures or images with moving objects, since all pixels basically perform their accumulation over the entire image acquisition interval, but with different subdivision into differently many subintervals.
In 11 ist angedeutet, dass die Teilintervalle gegebenenfalls jeweils gleich groß sein können, was aber nicht unbedingt der Fall sein muss. In 11 ist wieder angedeutet, dass eventuell dem Bildrekonstruierer 22 gegenüber angezeigt werden kann, wenn einer der Akkumulationswerte aufgrund eines Überlaufs bzw. eine Überbelichtung verfälscht ist. Aufgrund der unregelmäßigen Verteilung der Unterteilung des Bildaufnahmeintervalls über das Pixelarray hinweg sind diese Pixelorte aber per Interpolation leicht korrigierbar, wie es im Vorhergehenden beschrieben worden ist. Auch bei dem Ausführungsbeispiel von 11 können die Pixel 12 auch anders angeordnet sein.In 11 is indicated that the sub-intervals may be the same size, but this may not necessarily be the case. In 11 again hinted that possibly the image reconstructor 22 can be displayed if one of the accumulation values is corrupted due to an overflow or overexposure. However, due to the irregular distribution of the subdivision of the image acquisition interval across the pixel array, these pixel locations are easily correctable by interpolation, as described above. Also in the embodiment of 11 can the pixels 12 be arranged differently.
Es wird darauf hingewiesen, dass obige Ausführungsbeispiele auch gut miteinander kombinierbar sind. Bei einigen Ausführungsbeispielen wurde hierauf schon explizit hingewiesen. Für die anderen Kombinationen gilt dies aber auch. Eine Randomisierung, die in den vorhergehenden Ausführungsbeispielen noch nicht explizit erwähnt worden ist, die aber ebenfalls mit diesen Ausführungsbeispielen kombinierbar ist, ist die Realisierung einer Zufälligkeit bezüglich Farbe. Die Konstruktion von Kameras mit einem räumlich zufälligen Farbfilterarray ist beispielsweise in [3] gezeigt. Ein solches zufälliges Farbfilterarray kann auch in dem Zusammenhang mit den oben genannten Ausführungsbeispielen verwendet werden. Eine Erhöhung der spektralen Auflösung könnte erzielt werden, indem mehr als nur drei Farbfilter verwendet werden. Die Kombination der Farbrandomisierung mit obigen Ausführungsbeispielen bleibt hiervon unbeschadet.It should be noted that the above embodiments can also be combined well with each other. In some embodiments, this has already been explicitly mentioned. But this also applies to the other combinations. Randomization, which has not yet been explicitly mentioned in the preceding exemplary embodiments, but which can also be combined with these exemplary embodiments, is the realization of a randomness with regard to color. The construction of cameras with a spatially random color filter array is shown for example in [3]. Such a random color filter array can also be used in the context of the above-mentioned embodiments. An increase in spectral resolution could be achieved by using more than just three color filters. The combination of color banding with the above embodiments remains unaffected.
Es wird ferner darauf hingewiesen, dass die obigen Ausführungsbeispiele sowohl mit regulären als auch mit vorgespannten bzw. pinned Photodioden funktionieren. Im Fall regulärer Dioden wird die Aktivierung einer Zeilenleitung einen Auslesevorgang und einen Rücksetzvorgang auslösen bzw. gibt es in diesem Fall eine Auslesezeilenleitung und eine Rücksetzzeilenleitung. In dem Fall von pinned Photodioden gibt es Transferzeilenleitungen und Auswahlzeilenleitungen. Unabhängig vom genauen Pixelarchitekturtyp wurden in der vorhergehenden Beschreibung allerdings die Bezeichnung „Rücksetzzeilenleitung”, „Auslesezeilenleitung” und „Akkumulationsstoppzeilenleitung” verwendet.It is further noted that the above embodiments work with both regular and pinned photodiodes. In the case of regular diodes, the activation of a row line will initiate a read operation and a reset operation, respectively, in this case a read-out line and a reset line. In the case of pinned photodiodes, there are transfer line lines and select line lines. Regardless of the exact pixel architecture type, however, in the foregoing description, the terms "reset line line", "readout line line", and "accumulation stop line line" have been used.
Der Shutter-Mechanismus der zugrundeliegenden Architektur kann frei gewählt werden. Ein Rolling-Shutter-Auslesevorgang scannt das gesamte Array und jegliche Unterteilung führt zu einem schnelleren Scan und reduzierten Shutter-Artefakten. Insbesondere für die Zeilenadressrandomisierung ist eine Rolling-Shutter-Architektur gut geeignet. Dies führt zu einer Unterteilung in so viele Belichtungszeitschlitze, wie es Zeilen in dem Bild gibt. Bei einem Global-Shutter-Mechanismus kann eine Unterteilung aller Zeilenadressen hilfreich sein. Alle Pixel aus der Belichtung des Zeitschlitzes 1 könnten kombiniert werden, um ein Shutter-Intervall zu definieren und einen Ladungstransfer zur gleichen Zeit durchzuführen. Dies hat den Vorteil, dass jeder Belichtungszeitschlitz frei von Shutter-Artefakten ist, was für eine Hochgeschwindigkeitsbewegungsanalyse wichtig sein kann.The shutter mechanism of the underlying architecture can be chosen freely. A rolling shutter read operation scans the entire array, and any subdivision results in a faster scan and reduced shutter artifacts. Especially for the row address randomization, a rolling shutter architecture is well suited. This results in a subdivision into as many exposure time slots as there are lines in the image. For a global shutter mechanism, dividing all the row addresses can be helpful. All pixels from the exposure of time slot 1 could be combined to define a shutter interval and perform a charge transfer at the same time. This has the advantage that each exposure time slot is free of shutter artifacts, which may be important for high speed motion analysis.
Obige Ausführungsbeispiele sind ferner kombinierbar mit einer Randomisierung mittels einer Faseroptik. Falls beispielsweise der Bildsensor bzw. das Pixelarray desselben von einer Optik, die eine Abbildung auf das Pixelarray vornimmt, über eine Faseroptikverbindung getrennt ist, wie z. B. in einem Endoskop, dann könnte bei obigen Ausführungsbeispielen eine Zufälligkeit aus der Randomisierung der Faser heraus erzeugt und verwendet werden. Ein herkömmliches Rolling-Shutter-Bildausleseverfahren fährt dann dazu, dass eine zufällige Abtastung in Raum und Zeit durchgeführt wird.The above embodiments are also combinable with a randomization by means of a fiber optic. If, for example, the image sensor or the pixel array thereof is separated from an optical system that makes an image on the pixel array via a fiber optic connection, such. In an endoscope, in the above embodiments, randomness could be generated and used from the randomization of the fiber. A conventional rolling shutter image reading method then proceeds to randomly scan in space and time.
Bei den vorhergehenden Ausführungsbeispielen wurde stets ein nichtregelmäßiges Gitter von Pixelwerten erzeugt. Diese Pixelwerte können aber auf regelmäßiges Gitter höherer Auflösung abgebildet werden, wie es im Vorhergehenden beschrieben worden ist und wie es beispielsweise durch den Bildrekonstruierer 22 durchgeführt wird. Zwischen den Abtastfehlern können einige Abtastwerte fehlen. Die Gründe hierfür waren vielfältig, wie es im Vorhergehenden beschrieben worden ist. Die fehlenden Abtastwerte können durch Interpolation ermittelt werden. Anders ausgedrückt, können die fehlenden Pixelwerte auch im festen Gitter der höheren Auflösung interpoliert werden. Dazu können beispielsweise Verfahren verwendet werden, wie sie in beschrieben sind. Dieselben beruhen auf der selektiven Extrapolation (SE) aus [22] und können beispielsweise mit Hilfe von Fourier Basisfunktionen ausgeführt werden. Andere Basisfunktionen können ebenfalls verwendet werden. Eine weitere Erhöhung der Qualität ist zu erwarten, wenn eine Interpolation auf einem 3D-Gitter durchgeführt wird, wie es Bezug nehmend auf 8 beschrieben worden ist. Hierzu kann ein Verfahren verwendet werden, wie es beispielsweise in [13] vorgestellt wird.In the previous embodiments, a non-regular grid of pixel values was always generated. However, these pixel values may be mapped to regular higher resolution grids as described above, such as by the image reconstructor 22 is carried out. Some sample values may be missing between sample errors. The reasons for this were manifold, as described above. The missing samples can be determined by interpolation. In other words, the missing pixel values can also be interpolated in the fixed grid of the higher resolution. For this purpose, for example, methods can be used as described in FIG. These are based on the selective extrapolation (SE) of [22] and can be carried out, for example, using Fourier basis functions. Other basic functions can also be used. A further increase in quality is expected when performing interpolation on a 3-D grid, as discussed 8th has been described. For this purpose, a method can be used, as presented for example in [13].
Das Verfahren ist eng verwandt mit einer Anpassungsverfolgungs- (MP-; MP = matching pursuit) Signalapproximation. Ein dünn besetztes Signalmodell wird für die Abtastwerte des Signals gefunden. Lediglich wenige der Koeffizienten der Basisfunktionen werden für eine Approximation des Signals benötigt. Kleine Bereiche eines natürlichen Bildes können sehr gut mit lediglich wenigen Koeffizienten eines Satzes von Basisfunktionen dargestellt werden. Dies wird in der Datenkompression weit verwendet. SE bzw. selektive Extrapolation erweitert die MP-Approximation mit einer Gewichtungsfunktion: einige Werte des Signals sind unbekannt und sollten die Modellerzeugung nicht beeinflussen. Für zuvor rekonstruierte Signalwerte will man lediglich einen kleinen Einfluss auf die Modellerzeugung. Dies ermöglicht die Schätzung von Koeffizienten ohne die Kenntnis des gesamten Signals. Ferner führt die Orthogonalitätsdefizitkompensation (ODC) [22] zu einer verbesserten Modellerzeugung und Konstruktionsqualität, verglichen zu MP. ODC erhöht ferner die Stabilität des Rekonstruktionsprozesses. Der vorerwähnte Bildrekonstruierer 22 kann dementsprechend ausgestaltet sein.The method is closely related to an adaptive tracking (MP) signal approximation. A sparse signal model is found for the samples of the signal. Only a few of the coefficients of the basis functions are needed for an approximation of the signal. Small areas of a natural image can be represented very well with only a few coefficients of a set of basis functions. This is widely used in data compression. SE or selective extrapolation extends the MP approximation with a weighting function: some values of the signal are unknown and should not influence the model generation. For previously reconstructed signal values one wants only a small influence on the model generation. This allows the estimation of coefficients without the knowledge of the entire signal. Furthermore, orthogonality deficit compensation (ODC) [22] results in improved model generation and design quality compared to MP. ODC also increases the stability of the reconstruction process. The aforementioned image reconstructor 22 can be configured accordingly.
In anderen Worten ausgedrückt kann die Rekonstruktion unter Verwendung der selektiven Extrapolation erfolgen. Dies ist ein nichtlineares, blockbasiertes, iteratives Verfahren zur Signalextrapolation. Ziel der Extrapolation ist die Modellierung des Originalsignals als gewichtete Überlagerung aus einer geringen Anzahl von Basisfunktionen. Die geringe Anzahl an Basisfunktionen kann beispielweise 5% betragen. Dabei wird verwendet, dass sich die meisten natürlichen Signale (z. B. Bilder oder Bildsequenzen) durch wenige Koeffizienten bzgl. einer geeigneten Basis darstellen lassen. Für die Anwendung der nichtregelmäßigen Rekonstruktion besteht die Aufgabe der Selektiven Extrapolation nun darin, die im Originalsignal vorhanden Basisfunktionen zu bestimmen und deren Gewicht zu schätzen. Die Rekonstruktion mittels Selektiver Extrapolation arbeitet folgendermaßen: Ein betrachteter Block setzt sich aus bekannten und unbekannten Bildpunkten zusammen. Ein Block kann dabei beispielsweise eine hochaufgelöste zweidimensionale Region des Sensors darstellen, aber auch ein dreidimensionales Volumen, wenn eine Folge von Bildern wie in 8 dargestellt, betrachtet wird. Die Selektive Extrapolation, wie sie durch den Bildrekonstruierer in 2 ausgeführt werden kann, erzeugt nun ein Modell des Signals, das im gesamten betrachteten Block definiert ist. Dazu wird das Modell sukzessive aus einer Überlagerung von Basisfunktionen aufgebaut. Vor Beginn der Modellbildung wird eine Menge von Basisfunktionen gewählt bzw. vorgegeben. Es hat sich gezeigt, dass trigonometrische Funktionen (wie z. B. Funktionen der diskreten Fourier Transformation oder der Diskreten Kosinus Transformation) eine sehr gut geeignete Menge von Basisfunktionen darstellen. Prinzipiell sind aber auch andere Mengen von Basisfunktionen möglich. Die Modellbildung erfolgt dann in der Gestalt, dass in jedem Iterationsschritt das bekannte Signal auf alle Basisfunktionen projiziert wird. Die Projektionen erfolgen unter Berücksichtigung einer Gewichtungsfunktion, die den Einfluß einzelner Abtastwerte auf die Modellbildung steuert. So können z. B. Bildpunkte die weit entfernt zum zu rekonstruierenden Block liegen ein geringes Gewicht und damit auch geringen Einfluß auf die Modellbildung erhalten. Ausgehend von den Projektionen wird dann die Basisfunktion zur Ergänzung des Modells ausgewählt, die die Abnahme der Fehlerenergie zwischen dem Modell und dem bekannten Signal maximiert. Der Schätzwert für das Gewicht der ausgewählten Basisfunktion ergibt sich aus der Projektion des Fehlers zwischen dem Modell und dem Signal auf die Basisfunktion gewichtet mit einem Faktor kleiner als eins, um eine Orthogonalitätsdefizitskompensation durchzuführen. Die Orthogonalitätsdefizitskompensation ist nötig, um eine stabile Erzeugung des Modells zu gewährleisten. Diese Schritte werden so lange wiederholt, bis eine vorher festgelegte Anzahl an Iterationen erreicht wird. Da die Basisfunktionen des Modells sowohl die bekannten, als auch die nicht bekannten Bereiche abdecken, erhält man mit der Erzeugung des Modells automatisch eine Fortsetzung des Signals in die unbekannten Bereiche. Die Modellerzeugung erfolgt damit ähnlich zu Matching Pursuit, ist diesem aber durch die Verwendung der Gewichtungsfunktion und der Orthogonalitätsdefizitskompensation deutlich überlegen.In other words, reconstruction can be done using selective extrapolation. This is a non-linear, block-based, iterative method for signal extrapolation. The aim of extrapolation is to model the original signal as a weighted superposition of a small number of basis functions. The small number of basic functions can be 5%, for example. It is used that most natural signals (eg images or image sequences) can be represented by a few coefficients with respect to a suitable basis. For the application of non-regular reconstruction, the task of selective extrapolation is now to determine the basic functions present in the original signal and to estimate their weight. The reconstruction by means of selective extrapolation works as follows: A considered block consists of known and unknown pixels. For example, a block may represent a high-resolution two-dimensional region of the sensor, but also a three-dimensional volume if a sequence of images as in FIG 8th is considered. The Selective Extrapolation, as used by the image reconstructor in 2 can be executed, now generates a model of the signal, which is defined in the whole considered block. For this, the model becomes successive built from a superposition of basic functions. Before starting modeling, a set of basic functions is selected or specified. It has been found that trigonometric functions (such as functions of discrete Fourier transformation or discrete cosine transformation) represent a very suitable set of basis functions. In principle, however, other sets of basis functions are possible. Modeling then takes the form that in each iteration step the known signal is projected onto all basic functions. The projections are made taking into account a weighting function which controls the influence of individual samples on the modeling. So z. B. pixels that are far away from the block to be reconstructed, a low weight and thus little influence on the model obtained. Based on the projections, the base function is then selected to complement the model, which maximizes the decrease in error energy between the model and the known signal. The estimate of the weight of the selected basis function results from the projection of the error between the model and the signal on the basis function weighted by a factor less than one to perform orthogonality deficit compensation. The orthogonality deficit compensation is necessary to ensure stable generation of the model. These steps are repeated until a predetermined number of iterations are reached. Since the basic functions of the model cover both the known and the unknown areas, the generation of the model automatically results in a continuation of the signal into the unknown regions. Modeling is similar to Matching Pursuit, but is significantly superior to using the weighting function and orthogonality deficit compensation.
Allgemein kann der Rekonstruierer aus 2 also folgendermaßen arbeiten, um die im vorhergehenden erwähnten lückenhaften, da Fehlstellen enthaltenden, regelmäßigen Bilder, wie sie beispeisweise bei den Ausführungsbeispielen gemäß 1–5, 7, 8 and 10 erhalten werden, zu interpolieren: Die Bilder werden in Blöcke unterteilt. Für jeden Block wird iterativ folgendes durchgeführt: Der verbleibende Fehler wird auf alle Basisfunktionen projeziert, davon ausgehend wird die Basisfunktion ausgewählt, die die Abnahme der gewichteten Approximationsfehlerenegie maximiert. Das geschätzte Gewicht dieser Basisfunktion ergibt sich aus der gewichteten Projektion des Approximationsfehlers auf die Basisfunktion, verringert um den Orthogonalitätsdefezitskompensationsfaktor, der kleiner als 1 ist. In der ersten Iteration ist der Approximationsfehler gleich dem Eingangsignal. Die Ausgewählte Basisfunktion wird mit dem bestimmten Gewicht zum bisher erzeugen Model hinzugefügt. (2) Der neue Restfehler zwischen bisher erzeugtem Modell und Eingangssignal wird bestimmt und als neuer Approximationsfehler in (1) verwendet. Das geschieht so lange, bis eine Anzahl von Iterationen durchlaufen wurde, oder sich die Gewichtungen ai nur noch weniger als ein Schwellwert ändern. Das Ergebnis ist ein Signal, das sich aus den Basisfunktionen geeignet zusammensetzt. Man könnte also die Interpolation durch den Bildrekonstruierer also auch als eine Modellierung aus gewichteter Überlagerung weniger diskreter Basisfunktionen” beschreiben. Matching pursuit oder Selektive Extrapolation kann dazu verwendet werden. Die erwähnten trigonometrischen Basisfunktionen können beispielsweise die einer DCT oder DFT sein.Generally, the reconstructor can be off 2 that is, to work in the above-mentioned incomplete, regular image containing defects, as exemplified in the embodiments of FIGS 1 - 5 . 7 . 8th and 10 to interpolate: The images are divided into blocks. The following is done iteratively for each block: the remaining error is projected onto all basis functions, starting from this the base function is selected, which maximizes the decrease of the weighted approximation error sequence. The estimated weight of this basis function results from the weighted projection of the approximation error on the basis function, reduced by the orthogonality coefficient of deficiency, which is less than one. In the first iteration, the approximation error is equal to the input signal. The Selected base function is added to the previously generated model with the specified weight. (2) The new residual error between previously generated model and input signal is determined and used as a new approximation error in (1). This is done until a number of iterations have passed through, or the weights a i only change less than a threshold. The result is a signal composed of the basic functions. Thus, one could also describe the interpolation by the image reconstructor as a modeling of weighted superimposition of less discrete basis functions. Matching pursuit or selective extrapolation can be used. The trigonometric basis functions mentioned can be, for example, those of a DCT or DFT.
Die Rekonstruktion kann beispielsweise anhand der obigen Ausführungsbeispiele beschriebe erläutert werden, bei denen der lichtempfindliche Bereich für jedes Pixel unterschiedlich platziert ist. Der Pixelbereich kann in 4 Quadranten unterteilt sein, wobei lediglich einer von ihnen lichtempfindlich ist. Die Folge ist ein zufälliges Abtastmuster auf dem hochauflösenden Raster. Die darunter liegende Bildsensorarchitektur aus beispielsweise Zeilen- und Spaltenbussen und Ausleseschaltungsanordnung kann trotzdem noch regelmäßig sein, und das Auslesen kann ähnlich dem einer regelmäßigen niedrigauflösenden Sensors gemäß 3a sein. Eine praktische Implementierung kann anhand von regulären standardmäßigen niedrigauflösenden Bildsensoren mit einem hohen Füllfaktor, wie z. B. mit Mikrolinsen, erzeugt werden. Eine zusätzliche Abschirmung von Licht kann zusätzlich angewendet werden. Für jedes große Pixel kann eine von vier möglichen Masken zufällig angewendet werden (vgl. 3D). Auch ist es möglich, Sensoren auf der Basis vier verschiedener Pixellayouts zu entwerfen, bei denen der lichtempfindliche Bereich direkt in einem der Quadranten platziert ist. Das resultierende unregelmäßige Muster aus 3D ist nicht wirklich zufällig, da jedes große Pixel genau einen Quadranten aufweist, der lichtempfindlich ist. Für eine Bildrekonstruktion sind die nächsten Abtastwerte immer nahe beieinander. Dies ist aber aus den bereits erwähnten Gründen vorteilhaft, da natürliche Bilder nicht stationär sind und eine einigermaßen gleichmäßig verteilte Abtastung bezüglich eines Anpassen an Änderungen der statistischen Eigenschaften des Bildes besser ist. Aufgrund der blockbasierten Rekonstruktion muss das Muster lediglich in einer nahe gelegenen Nachbarschaft unkorreliert werden, was die Herstellung erleichtern kann.The reconstruction can be explained, for example, with reference to the above embodiments, in which the photosensitive area is placed differently for each pixel. The pixel area may be divided into 4 quadrants with only one of them being photosensitive. The result is a random sampling pattern on the high-resolution screen. The underlying image sensor architecture of, for example, row and column buses and readout circuitry may still be regular, and the readout may be similar to that of a regular low resolution sensor in accordance with FIG 3a be. A practical implementation may be based on regular standard low resolution image sensors with a high fill factor, such as. B. with microlenses generated. An additional shielding of light can be used additionally. For each large pixel, one of four possible masks can be applied randomly (cf. 3D ). It is also possible to design sensors based on four different pixel layouts in which the photosensitive area is placed directly in one of the quadrants. The resulting irregular pattern out 3D is not really random because every big pixel has exactly one quadrant that is sensitive to light. For image reconstruction, the next samples are always close together. However, this is advantageous for the reasons already mentioned because natural images are not stationary and a reasonably evenly distributed scan is better for matching to changes in the statistical properties of the image. Due to the block-based reconstruction, the pattern only has to be uncorrelated in a nearby neighborhood, which can facilitate manufacturing.
Die Rekonstruktion kann bei soeben noch einmal geschilderten Ausführungsbeispielen durch den Rekonstruierer auf folgende Art und Weise durchgeführt werden, wobei diese Rekonstruktion aber ohne weiteres auch auf die anderen Ausführungsbeispiele übertragbar ist. Die Rekonstruktion wird beispielsweise an Blöcken der Größe M × N Pixel auf dem Hochauflösungsgitter ausgeführt. Ein Beispiel ist in 14a gezeigt. Der zu rekonstruierende Bereich befindet sich in der Mitte und weist eine Größe MR × NR auf. Der betrachtete Block wird als Verarbeitungsbereich L bezeichnet und ist durch Raumkoordinaten m und n auf dem Hochauflösungsgitter dargestellt. Der Bereich L kann ferner in Teilbereiche unterteilt sein, wie in 14a) gezeigt ist: Ein Bereich A (weiß) enthält alle direkt abgetasteten Pixel, und B (schwarz) enthält alle unbekannten Pixel, und ein Bereich C (grau bzw. schraffiert) wird für zuvor rekonstruierte Werte verwendet. Während der Modellerzeugung wird die Gewichtungsfunktion dazu verwendet, jeden Abtastwert in Abhängigkeit von seinem Ursprung zu gewichten. Das Gewicht δ wird für zuvor bearbeitete Pixel mit einer Bearbeitung in einer Zeilenabtastreihenfolge, wie in 3a) gezeigt ist, verwendet. Der Einfluss jedes Abtastwerts in Abhängigkeit von seiner Position wird ferner zu verfeinert. Somit erhalten Pixel, die weiter von der Mitte entfernt sind, ein geringeres Gewicht und somit weniger Einfluss auf die Modellerzeugung. Das Gewicht bekannter Abtastwerte verringert sich mit zunehmendem Abstand exponentiell und wird durch einen Abklingfaktor ρ ^ gesteuert. Ein exemplarisches Gewicht w[m, n] ist in 3b) gezeigt.The reconstruction can be carried out in the following manner by the reconstructor in just described embodiments, but this reconstruction can be easily applied to the other embodiments as well. The reconstruction is for example on blocks of size M × N pixels on the high-resolution grid. An example is in 14a shown. The region to be reconstructed is in the middle and has a size M R × N R. The considered block is referred to as a processing area L and is represented by space coordinates m and n on the high resolution grid. The region L may further be subdivided into subregions, as in FIG 14a) A region A (white) contains all pixels directly scanned, and B (black) contains all unknown pixels, and a region C (gray or hatched) is used for previously reconstructed values. During model generation, the weighting function becomes used to weight each sample depending on its origin. The weight δ is for previously processed pixels with a line scan order processing, as in FIG 3a) shown is used. The influence of each sample as a function of its position also increases refined. Thus, pixels farther from the center will be lighter in weight and thus less impact on model generation. The weight of known samples decreases exponentially with increasing distance and is controlled by a decay factor ρ ^. An exemplary weight w [m, n] is in 3b) shown.
Zum Schätzen der fehlenden Pixel wird die komplexwertige frequenzselektive Extrapolation (cFSE – complex-valued Frequency Selective Extrapolation) aus [12] verwendet. Dieser Algorithmus erzeugt iterativ das Dünnbesetzungsmodell des Signals als gewichtete Überlagerung der zweidimensionalen Basisfunktionen φ(k,l)[m, n]. Die Gewichte der einzelnen Basisfunktionen werden durch die Ausdehnungskoeffizienten c(k,l) gesteuert, und ein festgelegtes Θ hält die Indizes aller Basisfunktionen, die für eine Modellerzeugung verwendet werden. Wie in [12] vorgeschlagen ist, können die Funktionen der zweidimensionalen diskreten Fourier-Transformation als Basisfunktionen verwendet werden. Diese Funktionen ermöglichen der cFSE, unterschiedlichen Bildinhalt, wie z. B. glatte sowie rauschähnliche Bereiche und Kanten, in hoher Qualität wiederzugewinnen. Ferner kann die Rekonstruktion in dem Fourier-Bereich unter Verwendung einer 2D-FFT der Größe T × T durchgeführt werden. Um das Modell zu erzeugen, wählt cFSE eine Basisfunktion aus, die zu dem Modell hinzuzufügen ist, und schätzt das entsprechende Gewicht bei jeder Iteration.To estimate the missing pixels, complex-valued frequency-selective extrapolation (cFSE) from [12] is used. This algorithm iteratively generates the sparse model 
Anders als bei [12] kann die Auswahl aufgrund der geringen Anzahl verfügbarer Abtastwerte mehrdeutig sein. Um eine glattere Lösung zu begünstigen, kann eine linear abnehmende Wahrscheinlichkeit p[k, l] Basisfunktionen mit zunehmender Frequenz zugewiesen werden: wobei k ~ = T / 2 – |k – T / 2| und l ~ = T / 2 – |l – T / 2| und p0 zum Normieren der Summe über p[k, l] zu eins verwendet wird. Dies ahmt typische Punktverwaschungsfunktionen aus der optischen Bilderfassung nach: je höher die Frequenz, desto größer der Anteil des Signals, der gedämpft wird [4]. Eine beispielhafte Wahrscheinlichkeit p[k, l] ist in 14 c) gezeigt.Unlike [12], the choice may be ambiguous due to the small number of available samples. To favor a smoother solution, a linear decreasing probability p [k, l] can be assigned to basis functions with increasing frequency: in which k ~ = T / 2 - | k - T / 2 | and l ~ = T / 2 - | l - T / 2 | and p 0 is used to normalize the sum over p [k, l] to one. This mimics typical point-blurring functions from optical image capture: the higher the frequency, the larger the fraction of the signal being attenuated [4]. An exemplary probability p [k, l] is in 14 c).
Das Dünnbesetzungsmodell g[m, n] ist über den gesamten Bereich L definiert. Der Mittenbereich des erzeugten Modells wird schließlich als das rekonstruierte Signal verwendet. Aufgrund dieses blockbasierten Ansatzes skaliert die Bildrekonstruktion linear mit der Gesamtanzahl von Pixeln und ermöglicht direkt eine hervorragende Parallelisierung. Eine umfassende Erläuterung und ein Quellencode von cFSE findet sich bei [12].The thin occupancy model g [m, n] is defined over the entire area L. The center area of the generated model is finally used as the reconstructed signal. Because of this block-based approach, the image reconstruction scales linearly with the total number of pixels and allows one to be directly scaled excellent parallelization. A comprehensive explanation and a source code of cFSE can be found at [12].
Bei einer Simulation wurde diese unregelmäßige Abtastung mit einer regelmäßigen Abtastung bei niedriger Auflösung verglichen. Die Abtastung verwendet für alle Verfahren 1/4 der Abtastwerte im Vergleich zu dem ursprünglichen hochauflösenden Bild. Alle Operationen werden in unabhängigen Farbkanälen durchgeführt, und in allen Kanälen wird dasselbe Abtastmuster verwendet (ähnlich einer perfekt ausgerichteten 3-Chip-Kamera). Für cFSE wurden folgende Parameter verwendet: Der zu rekonstruierende Bereich weist die Größe MR × NR = 4 × 4 auf, mit einer Grenze von 12 Abtastwerten, Gewicht für zuvor bearbeitete Abtastwerte δ = 0,75, Gewichtsabklingfaktor ρ ^ = 0,7 , Orthogonalitätskorrektur γ = 0,25, maximale Anzahl von Iterationen νmax = 500, und Basisfunktionen rühren von einer FFT der Größe T = 32 her. Eine umfassende Erörterung der Parameter findet sich bei [12].In one simulation, this irregular sampling was compared to a regular low-resolution sampling. The scan uses 1/4 of the samples for all procedures compared to the original high resolution image. All operations are performed in independent color channels and all channels use the same scan pattern (similar to a perfectly aligned 3-chip camera). The following parameters were used for cFSE: The area to be reconstructed has the size M R × N R = 4 × 4, with a limit of 12 samples, weight for previously processed samples δ = 0.75, weight decay factor ρ ^ = 0.7 , Orthogonality correction γ = 0.25, maximum number of iterations ν max = 500, and basis functions derive from an FFT of size T = 32. A comprehensive discussion of the parameters can be found in [12].
In der Tabelle 1 zeigen wir einige numerische Ergebnisse. Für regelmäßige Bilder wie Lighthouse (Kodim19) und die Zone Plate können wir im Vergleich zu einem traditionellem Abtasten große Gewinne erzielen. Für hauptsächlich zufälligen Bildinhalt wie das Haar der Frau bei Kodim04 haben wir einen Verlust in dB, da der echte Bildinhalt nicht wiedergewonnen werden kann. Abtastung 2 × 2 Kategorieeinstufung 1/4 regelmäßig ideal 1/4 zufällig
Rekonstruktion - linear linear Spline ideal linear Vgl. Fig. 1
Kodim04 31,0 31,7 31,0 30,4 33,2 31,3 32,4 dB
Kodim08 22,4 22,6 22,3 21,7 23,9 21,8 24,2 dB
Kodim19 27,0 27,0 27,1 26,7 28,6 26,2 30,0 dB
Zone Plate 11,1 10,7 10,4 9,3 11,2 9,5 38,9 dB
Tabelle 1. PSNR-Ergebnisse für verschiedene Abtastungen und Rekonstruktion In Table 1 we show some numerical results. For regular images like Lighthouse (Kodim19) and the Zone Plate, we can make big profits compared to traditional sampling. For mainly random image content such as the woman's hair at Kodim04 we have a loss in dB since the real image content can not be recovered. scan 2 × 2 category classification 1.4 regularly ideal 1.4 fortuitously
reconstruction - linear linear spline ideal linear See Fig. 1
Kodim04 31.0 31.7 31.0 30.4 33.2 31.3 32.4 dB
Kodim08 22.4 22.6 22.3 21.7 23.9 21.8 24.2 dB
Kodim19 27.0 27.0 27.1 26.7 28.6 26.2 30.0 dB
Zone Plate 11.1 10.7 10.4 9.3 11.2 9.5 38.9 dB
Table 1. PSNR results for different scans and reconstruction
Sogar in zufälligen Bildbereichen erzeugte der Algorithmus trotzdem visuell plausible Bilder.Even in random image areas, the algorithm still produced visually plausible images.
Das Testmuster Zone Plate mit verschiedenen Abtastmustern ist in 15 gezeigt: direktes Abtasten der hohen Auflösung mit wenigen regelmäßigen Abtastwerten führt zu einem Aliasing, wie in 15a) und 15c) gezeigt ist. Weder eine lineare noch eine Spline-basierte Interpolation kann dies weiter beseitigen, wie in 15b), d) und e) gezeigt ist. Eine ideale Abtastung und Interpolation in 15f) erzeugt kein Aliasing, sondern verliert alle hohen Frequenzen. Die vorgeschlagene zufällige Abtastung ist in The test pattern Zone Plate with different sampling patterns is in 15 shown: direct sampling of the high resolution with few regular samples leads to aliasing, as in 15a) and 15c) is shown. Neither linear nor spline-based interpolation can further eliminate this, as in 15b) , d) and e) is shown. An ideal sampling and interpolation in 15f) does not create aliasing but loses all high frequencies. The proposed random scan is in
15g) gezeigt. Die Delaunay-Triangulation mit linearer Interpolation ist nicht in der Lage, hohe Frequenzen wiederzugewinnen, wie in 15h) gezeigt ist. Die vorgeschlagene cFSE-Rekonstruktion in 15i) ist in der Lage, jegliches Bilddetail vollständig zu rekonstruieren. Im Vergleich zu dem Original in 15j) ist kein Unterschied sichtbar. 15g) shown. Delaunay linear interpolation triangulation is unable to recover high frequencies, as in 15h) is shown. The proposed cFSE reconstruction in 15i) is able to completely reconstruct any image detail. Compared to the original in 15j) no difference is visible.
Die verbesserte Qualität ist in natürlichen Bildern sichtbar, wie es später bezüglich 14 und 15 gezeigt wird. Eine unregelmäßige Abtastung und Bildrekonstruktion, bei der beispielsweise, aber nicht ausschließlich, Teile jedes Pixels eines regulären niedrigauflösenden Bildsensors abgeschirmt werden, ergibt also ein unregelmäßiges Abtastmuster, das mit geringem Aufwand aus dem Sensor ausgelesen werden kann, und dann eine Rekonstruktion hochauflösender Bilddetails auf der Basis der Dünnbesetzungsannahme mit einem iterativen blockbasierten Algorithmus in der Fourier-Domäne zulässt. Die Ergebnisse zeigen, dass dies für strukturierte Bildregionen hervorragend funktioniert und trotzdem plausible Bilder für zufällige Texturen erzeugt werden. Eine hochauflösende Kamera braucht keine Hochauflösungssensoren mehr. Während der Erfassung können somit Leistung, Komplexität und Kosten eingespart werden.The improved quality is visible in natural images as it relates later 14 and 15 will be shown. Thus, irregular sampling and image reconstruction, shielding, for example but not exclusively, portions of each pixel of a regular low resolution image sensor, provides an irregular sampling pattern that can be easily read out of the sensor and then reconstruction of high resolution image details on the base allows the sparse assumption with an iterative block-based algorithm in the Fourier domain. The results show that this works well for structured image regions and still creates plausible images for random textures. A high-resolution camera no longer needs high-resolution sensors. During capture, performance, complexity and cost can be saved.
Zwei Beispielbilder sind in 14 und 15 gezeigt. Sie zeigen einen Abschnitt des Lighthouse- und des Lena-Bildes. In a) ist jeweils das ursprüngliche Bild in hoher Auflösung zu sehen. Es wird angenommen, dass nicht alle Pixel erfasst werden, sondern lediglich 1/4, wie es beispielsweise bei dem Ausführungsbeispiel von 1 der Fall war. In b) ist eine traditionelle Abtastung mit großen Pixeln sichtbar, d. h. Pixeln, die sich über 2×2 Pixel des hochauflösenden Abtastarrays erstrecken. Lediglich 1/4 der Auflösung ist somit in den Fig. b verfügbar. Simuliert wurde dies durch Mittelwertbildung Bildung über benachbarte 2×2 Pixel des Bildes aus a). Die beispielsweise in 1 verwendete Zufallsakquisition durch Abschirmung des Pixelarrays bzw. das entsprechende Ergebnis ist in c) dargestellt. Eine Rekonstruktion des hochauflösenden Bildes mittels trilinearer Interpolation ist in d) gezeigt. Diese Rekonstruktion arbeitet nicht so gut und ist nicht in der Lage, vernünftige Bilder zu erzeugen. In e) ist die vorgeschlagene Rekonstruktion sichtbar. An manchen Stellen sind kleine Artefakte sichtbar, aber im Allgemeinen kann ein Bild mit hoher Qualität erzeugt werden.Two example pictures are in 14 and 15 shown. They show a section of the Lighthouse and Lena images. In a) the original picture is always to be seen in high resolution. It is assumed that not all pixels are detected, but only 1/4, as for example in the embodiment of FIG 1 the case was. In b), a traditional scan is visible with large pixels, ie pixels that extend over 2 x 2 pixels of the high resolution scan array. Only 1/4 of the resolution is thus shown in FIGS. b available. This was simulated by averaging over adjacent 2 × 2 pixels of the image from a). The example in 1 used random acquisition by shielding the pixel array or the corresponding result is shown in c). A reconstruction of the high-resolution image by trilinear interpolation is shown in d). This reconstruction does not work so well and is unable to produce reasonable images. In e) the proposed reconstruction is visible. In some places, small artifacts are visible, but in general, a high quality image can be created.
Die obigen Ausführungsbeispiele zeigten also Ausführungsbeispiele für Bildsensoren oder Bildaufhahmesysteme, die in der Lage waren, ein zufälliges Muster von Pixeln eines Bildes oder eine Sequenz abzutasten. Teilweise ist es mit den oben genannten Ausführungsbeispielen möglich, ein Vorschaubild mit wenig Rechenkomplexität zu erzeugen. Mit Besetzungsrekonstruktionstechniken ist es möglich, ein Hochqualitätsbild oder eine Sequenz von Hochqualitätsbildern auf den aufgezeichneten Daten zu erzeugen.Thus, the above embodiments have shown embodiments of image sensors or image acquisition systems capable of sampling a random pattern of pixels of an image or sequence. In part, it is possible with the above-mentioned embodiments to generate a preview image with little computational complexity. With population reconstruction techniques, it is possible to create a high quality image or a sequence of high quality images on the recorded data.
Für die oben beschriebenen ausschließlich räumlich arbeitenden Ausführungsbeispiele ist es möglich, Bilder mit einer hohen räumlichen Auflösung zu erzeugen, ohne dass so viele Pixel tatsächlich erfasst werden müssten. Die Anzahl der Pixel lässt sich beispielsweise um einen Faktor von 4 gegenüber der Anzahl von Abtastwerten in dem Hochauflösungsbild reduzieren.For the exclusively spatially working embodiments described above, it is possible to produce images with a high spatial resolution without having to actually capture so many pixels. For example, the number of pixels may be reduced by a factor of 4 over the number of samples in the high resolution image.
In dem Fall der räumlich-zeitlichen Abtastung obiger Ausführungsbeispiele lässt sich sogar ein größerer Effekt erzielen: anstelle einer einzigen Belichtung ist es möglich, vier oder mehr Lichtteilbilder zu erfassen und die zeitliche Auflösung des Systems zu erhöhen, ohne tatsächlich mehr Pixel auszulesen und handzuhaben. Dasselbe System ist immer noch verwendbar, um eine einzelne gute Aufnahme zu erzeugen. In diesem Fall ist es lediglich notwendig, ein einzelnes Bild zu erfassen und dabei alle Pixel zur gleichen Zeit zu erfassen und dieselben einfach anschließend zu sortieren.In the case of spatiotemporal scanning of the above embodiments, even a larger effect can be obtained: instead of a single exposure, it is possible to detect four or more light slices and increase the temporal resolution of the system without actually reading and handling more pixels. The same system is still usable to produce a single good shot. In this case, it is only necessary to capture a single image while capturing all pixels at the same time and then sorting them easily.
Vorteilhaft ist, dass bei den obigen Ausführungsbeispielen anders als bei der herkömmlichen komprimierten Abtastung die abgetasteten Pixel aus den vorgeschlagenen Architekturen direkt betrachtet werden können. Ein Niederauflösungsvorschaubild kann direkt erzeugt werden, ohne größere oder nicht-lokale Bildoperationen. Die Erstellung einer Vorschau kann also einfach durch Auslesen einer Teilmenge erzeugt werden. Beispielsweise kann bei einem bekannten Wert in einer 2 × 2 Region direkt eine Vorschau mit 1/4 Auflösung erzeugt werden. Anders als bei einer völlig zufälligen Teilmenge ist gemäß den Ausführungsbeispielen von 1 beispielsweise in jeder 2 × 2 Region genau ein Wert bekannt. Die Daten liegen daher direkt als Vorschau in 1/4 niedrigerer Auflösung vor.It is advantageous that in the above embodiments, unlike the conventional compressed sampling, the sampled pixels from the proposed architectures can be viewed directly. A low-resolution preview image can be generated directly without large or non-local image operations. The creation of a preview can thus be easily generated by reading a subset. For example, with a known value in a 2 × 2 region, a 1/4 resolution preview can be generated directly. Unlike a completely random subset is according to the embodiments of 1 For example, in each 2 × 2 region exactly one value known. The data is therefore available directly as a preview in 1/4 lower resolution.
Die Hochauflösungsbilder, die gemäß obiger Ausführungsbeispiele erzeugt werden, lassen sich daran erkennen, dass nicht immer die exakte Struktur der Szene konstruiert wird. In dem Fall eines zufälligen oder rauschähnlichen Objekts in dem Bild wird ein Fehler bei der Interpretation sichtbar sein.The high-resolution images generated according to the above embodiments can be recognized by the fact that the exact structure of the scene is not always constructed. In the case of a random or noise-like object in the image, an error in the interpretation will be visible.
Obige Ausführungsbeispiele eignen sich damit für den Aufbau von High-End-Kameras mit einer hohen Frame-Rate und einer hohen räumlichen Auflösung. Es ist eine höhere Abtastauflösung erzielbar als mit einer regulären Abtastung. Einige der obigen Ausführungsbeispiele ermöglichen es also insbesondere, dass eine hohe räumliche Auflösung mit einer Kamera erzielt wird, ohne dass tatsächlich alle Pixel des Hochauflösungsbildes in dem Pixelarray gelesen werden müssen. Dies stellt aber eben bereits eine typische Grenze heutiger Bildsensoren dar, und das Aufgeben der Auflösungsgleichheit erst unmittelbar vor der A/D-Konversion oder im digitalen Bereich, wie es in einigen Dokumenten zur Beschreibungseinleitung vorgeschlagen wird, gibt hier eigentlich keine Lösung. Erst die obigen Ausführungsbeispiele finden hierfür eine Lösung. Manche obigen Ausführungsbeispiele sehen noch nicht einmal die Verwendung aller Pixel für ein einzelnes Bild vor. Obige Lösungsansätze erzeugen gute Bilder ohne die Durchführung einer Faltung mit einer zufälligen Sequenz innerhalb des Bildsensors. Zur Erzeugung eines einzelnen Bildes können wir lediglich einige der Pixel verwenden, während andere andere Operationen durchführen. Dies wurde beispielsweise bei den obigen Ausführungsbeispielen mit einer zeitlich/räumlichen Erfassung verwendet, wo mehrere Erfassungen verschachtelt wurden.The above embodiments are thus suitable for the construction of high-end cameras with a high frame rate and a high spatial resolution. It is possible to achieve a higher sampling resolution than with a regular sampling. In particular, some of the above embodiments thus enable a high spatial resolution to be achieved with a camera without actually having to read all the pixels of the high resolution image in the pixel array. However, this already represents a typical limit of today's image sensors, and the abandonment of the resolution equality only immediately before the A / D conversion or in the digital domain, as proposed in some documents to describe the description, there is actually no solution. Only the above embodiments find a solution for this. Some of the above embodiments do not even anticipate the use of all pixels for a single image. The above solutions produce good images without performing a convolution with a random sequence within the image sensor. To create a single image, we can only use some of the pixels while others perform other operations. This has been used, for example, in the above embodiments with a temporal / spatial detection where multiple acquisitions have been interleaved.
Obwohl manche Aspekte im Zusammenhang mit einer Vorrichtung beschrieben wurden, versteht es sich, dass diese Aspekte auch eine Beschreibung des entsprechenden Verfahrens darstellen, sodass ein Block oder ein Bauelement einer Vorrichtung auch als ein entsprechender Verfahrensschritt oder als ein Merkmal eines Verfahrensschrittes zu verstehen ist. Analog dazu stellen Aspekte, die im Zusammenhang mit einem oder als ein Verfahrensschritt beschrieben wurden, auch eine Beschreibung eines entsprechenden Blocks oder Details oder Merkmals einer entsprechenden Vorrichtung dar. Einige oder alle der Verfahrensschritte können durch einen Hardware-Apparat (oder unter Verwendung eines Hardware-Apparats), wie zum Beispiel einen Mikroprozessor, einen programmierbaren Computer oder eine elektronische Schaltung ausgeführt werden. Bei einigen Ausführungsbeispielen können einige oder mehrere der wichtigsten Verfahrensschritte durch einen solchen Apparat ausgeführt werden.Although some aspects have been described in the context of a device, it will be understood that these aspects also constitute a description of the corresponding method, so that a block or a component of a device is also to be understood as a corresponding method step or as a feature of a method step. Similarly, aspects described in connection with or as a method step also represent a description of a corresponding block or detail or feature of a corresponding device. Some or all of the method steps may be performed by a hardware device (or using a hardware device). Apparatus), such as a microprocessor, a programmable computer or an electronic circuit. at In some embodiments, some or more of the most important method steps may be performed by such an apparatus.
Je nach bestimmten Implementierungsanforderungen können Ausführungsbeispiele der Erfindung in Hardware oder in Software implementiert sein. Die Implementierung kann unter Verwendung eines digitalen Speichermediums, beispielsweise einer Floppy-Disk, einer DVD, einer Blu-ray Disc, einer CD, eines ROM, eines PROM, eines EPROM, eines EEPROM oder eines FLASH-Speichers, einer Festplatte oder eines anderen magnetischen oder optischen Speichers durchgeführt werden, auf dem elektronisch lesbare Steuersignale gespeichert sind, die mit einem programmierbaren Computersystem derart zusammenwirken können oder zusammenwirken, dass das jeweilige Verfahren durchgeführt wird. Deshalb kann das digitale Speichermedium computerlesbar sein.Depending on particular implementation requirements, embodiments of the invention may be implemented in hardware or in software. The implementation may be performed using a digital storage medium, such as a floppy disk, a DVD, a Blu-ray Disc, a CD, a ROM, a PROM, an EPROM, an EEPROM or FLASH memory, a hard disk, or other magnetic disk or optical memory are stored on the electronically readable control signals that can cooperate with a programmable computer system or cooperate such that the respective method is performed. Therefore, the digital storage medium can be computer readable.
Manche Ausführungsbeispiele gemäß der Erfindung umfassen also einen Datenträger, der elektronisch lesbare Steuersignale aufweist, die in der Lage sind, mit einem programmierbaren Computersystem derart zusammenzuwirken, dass eines der hierin beschriebenen Verfahren durchgeführt wird.Thus, some embodiments according to the invention include a data carrier having electronically readable control signals capable of interacting with a programmable computer system such that one of the methods described herein is performed.
Allgemein können Ausführungsbeispiele der vorliegenden Erfindung als Computerprogrammprodukt mit einem Programmcode implementiert sein, wobei der Programmcode dahin gehend wirksam ist, eines der Verfahren durchzuführen, wenn das Computerprogrammprodukt auf einem Computer abläuft.In general, embodiments of the present invention may be implemented as a computer program product having a program code, wherein the program code is operable to perform one of the methods when the computer program product runs on a computer.
Der Programmcode kann beispielsweise auch auf einem maschinenlesbaren Träger gespeichert sein.The program code can also be stored, for example, on a machine-readable carrier.
Andere Ausführungsbeispiele umfassen das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren, wobei das Computerprogramm auf einem maschinenlesbaren Träger gespeichert ist.Other embodiments include the computer program for performing any of the methods described herein, wherein the computer program is stored on a machine-readable medium.
Mit anderen Worten ist ein Ausführungsbeispiel des erfindungsgemäßen Verfahrens somit ein Computerprogramm, das einen Programmcode zum Durchführen eines der hierin beschriebenen Verfahren aufweist, wenn das Computerprogramm auf einem Computer abläuft.In other words, an embodiment of the method according to the invention is thus a computer program which has a program code for performing one of the methods described herein when the computer program runs on a computer.
Ein weiteres Ausführungsbeispiel der erfindungsgemäßen Verfahren ist somit ein Datenträger (oder ein digitales Speichermedium oder ein computerlesbares Medium), auf dem. das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren aufgezeichnet ist.A further embodiment of the method according to the invention is thus a data carrier (or a digital storage medium or a computer-readable medium) on which. the computer program is recorded for performing any of the methods described herein.
Ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens ist somit ein Datenstrom oder eine Sequenz von Signalen, der bzw. die das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren darstellt bzw. darstellen. Der Datenstrom oder die Sequenz von Signalen kann bzw. können beispielsweise dahin gehend konfiguriert sein, über eine Datenkommunikationsverbindung, beispielsweise über das Internet, transferiert zu werden.A further embodiment of the method according to the invention is thus a data stream or a sequence of signals, which represent the computer program for performing one of the methods described herein. The data stream or the sequence of signals may be configured, for example, to be transferred via a data communication connection, for example via the Internet.
Ein weiteres Ausführungsbeispiel umfasst eine Verarbeitungseinrichtung, beispielsweise einen Computer oder ein programmierbares Logikbauelement, die dahin gehend konfiguriert oder angepasst ist, eines der hierin beschriebenen Verfahren durchzuführen.Another embodiment includes a processing device, such as a computer or a programmable logic device, that is configured or adapted to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel umfasst einen Computer, auf dem das Computerprogramm zum Durchführen eines der hierin beschriebenen Verfahren installiert ist.Another embodiment includes a computer on which the computer program is installed to perform one of the methods described herein.
Ein weiteres Ausführungsbeispiel gemäß der Erfindung umfasst eine Vorrichtung oder ein System, die bzw. das ausgelegt ist, um ein Computerprogramm zur Durchführung zumindest eines der hierin beschriebenen Verfahren zu einem Empfänger zu übertragen. Die Übertragung kann beispielsweise elektronisch oder optisch erfolgen. Der Empfänger kann beispielsweise ein Computer, ein Mobilgerät, ein Speichergerät oder eine ähnliche Vorrichtung sein. Die Vorrichtung oder das System kann beispielsweise einen Datei-Server zur Übertragung des Computerprogramms zu dem Empfänger umfassen.Another embodiment according to the invention comprises a device or system adapted to transmit a computer program for performing at least one of the methods described herein to a receiver. The transmission can be done for example electronically or optically. The receiver may be, for example, a computer, a mobile device, a storage device or a similar device. For example, the device or system may include a file server for transmitting the computer program to the recipient.
Bei manchen Ausführungsbeispielen kann ein programmierbares Logikbauelement (beispielsweise ein feldprogrammierbares Gatterarray, ein FPGA) dazu verwendet werden, manche oder alle Funktionalitäten der hierin beschriebenen Verfahren durchzuführen. Bei manchen Ausführungsbeispielen kann ein feldprogrammierbares Gatterarray mit einem Mikroprozessor zusammenwirken, um eines der hierin beschriebenen Verfahren durchzuführen. Allgemein werden die Verfahren bei einigen Ausführungsbeispielen seitens einer beliebigen Hardwarevorrichtung durchgeführt. Diese kann eine universell einsetzbare Hardware wie ein Computerprozessor (CPU) sein oder für das Verfahren spezifische Hardware, wie beispielsweise ein ASIC.In some embodiments, a programmable logic device (eg, a field programmable gate array, an FPGA) may be used to perform some or all of the functionality of the methods described herein. In some embodiments, a field programmable gate array may cooperate with a microprocessor to perform one of the methods described herein. Generally, in some embodiments, the methods are performed by a any hardware device performed. This may be a universal hardware such as a computer processor (CPU) or hardware specific to the process, such as an ASIC.
Die oben beschriebenen Ausführungsbeispiele stellen lediglich eine Veranschaulichung der Prinzipien der vorliegenden Erfindung dar. Es versteht sich, dass. Modifikationen und Variationen der hierin beschriebenen Anordnungen und Einzelheiten anderen Fachleuten einleuchten werden. Deshalb ist beabsichtigt, dass die Erfindung lediglich durch den Schutzumfang der nachstehenden Patentansprüche und nicht durch die spezifischen Einzelheiten, die anhand der Beschreibung und der Erläuterung der Ausführungsbeispiele hierin präsentiert wurden, beschränkt sei.The embodiments described above are merely illustrative of the principles of the present invention. It will be understood that modifications and variations of the arrangements and details described herein will be apparent to others of ordinary skill in the art. Therefore, it is intended that the invention be limited only by the scope of the appended claims and not by the specific details presented in the description and explanation of the embodiments herein.
Referenzenreferences
-
[1] M. Ben-Ezra, A. Zomet und S. K. Nayar. Jitter Camera: High Resolution Video from a Low Resolution Detector. In IEEE Conference on. Computer Vision and Pattern Recognition (CVPR), Band II, Seiten 135–142, Juni 2004 .[1] M. Ben-Ezra, A. Zomet and SK Nayar. Jitter Camera: High Resolution Video from a Low Resolution Detector. In IEEE Conference on. Computer Vision and Pattern Recognition (CVPR), Vol. II, pp. 135-142, June 2004 ,
-
[2] G. Bub, M. Tecza, M. Helmes, P. Lee und P. Kohl. Temporal Pixel multiplexing for simultaneous high-speed, high-resolution imaging. Nature methods, 7 (3): 209–211, 2010 .[2] G. Bub, M. Tecza, M. Helmes, P. Lee and P. Kohl. Temporal pixel multiplexing for simultaneous high-speed, high-resolution imaging. Nature methods, 7 (3): 209-211, 2010 ,
-
[3] L. Condat. A new random color filter array with good spectral properties. In IEEE International Conference an Image Processing (ICIP), Seiten 1.613–1.616. IEEE, 2010 .[3] L. Condat. A new random color filter array with good spectral properties. In IEEE International Conference on Image Processing (ICIP), pages 1.613-1.616. IEEE, 2010 ,
-
[4] L. Condat. Color filter array design using random patterns with blue noise chromatic spectra. Image and Vision Computing, 28 (8): 1.196–1.202, 2010 .[4] L. Condat. Color filter array design using random patterns with blue noise chromatic spectra. Image and Vision Computing, 28 (8): 1.196-1.202, 2010 ,
-
[5] M. F. Duarte, M. A. Davenport, D. Takhar, J. N. Laska, T. Sun, KF. Kelly und R. G. Baraniuk. Single-Pixel imaging via compressive sampling. Signal Processing Magazine, IEEE, 25 (2): 83–91, 2008 .[5] MF Duarte, MA Davenport, D. Takhar, JN Laska, T. Sun, KF. Kelly and RG Baraniuk. Single-pixel imaging via compressive sampling. Signal Processing Magazine, IEEE, 25 (2): 83-91, 2008 ,
-
[6] Jinwei Gu, Yasunobu Hitomi, Tomoo Mitsunaga und Shree K. Nayar. Coded Rolling Shutter Photography: Flexible Space-Time Sampling. In IEEE International Conference an Computational Photography (ICCP), März 2010 .[6] Jinwei Gu, Yasunobu Hitomi, Tomoo Mitsunaga and Shree K. Nayar. Coded Rolling Shutter Photography: Flexible Space-Time Sampling. In IEEE International Conference on Computational Photography (ICCP), March 2010 ,
-
[7] K Hirakawa und P. J. Wolfe. Spatio-speetral color filter array design for optimal image recovery. IEEE Transactions an Image Processing, 17 (10): 1.876–1.890, 2008 .[7] K Hirakawa and PJ Wolfe. Spatio-spectral color filter array design for optimal image recovery. IEEE Transactions to Image Processing, 17 (10): 1.876-1.890, 2008 ,
-
[8] L. Jacques, P. Vandergheynst, A. Bibet, V. Majidzadeh, A. Schmid und Y. Leblebici. CMOS compressed imaging by Random Convolution. In Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE International Conference on, Seiten 1.113–1.116. IEEE, 2009 .[8th] L. Jacques, P. Vandergheynst, A. Bibet, V. Majidzadeh, A. Schmid and Y. Leblebici. CMOS compressed imaging by Random Convolution. In Acoustics, Speech and Signal Processing, 2009. ICASSP 2009. IEEE International Conference on, pages 1.113-1.116. IEEE, 2009 ,
-
[9] C. K Liang, T. H. Lin, B. Y. Wong, C. Liu und H. H. Chen. Programmable aperture photography: multiplexed light field acquisition. A CM Trans. Graph, 27 (3): 1–10, 2008 .[9] C. K Liang, TH Lin, BY Wong, C. Liu and HH Chen. Programmable aperture photography: multiplexed light field acquisition. A CM Trans. Graph, 27 (3): 1-10, 2008 ,
-
[10] C. H. Lin und K. Chin. Pixel-data line buffer approach having variable sampling Patterns, 6. Juli 2010 . VS Patent 7,750,979.[10] CH Lin and K. Chin. Pixel-data line buffer approach having variable sampling patterns, July 6, 2010 , VS patent 7,750,979.
-
[11] R. Lukac und K. N. Plataniotis. Color Filter Arrays for Single-Sensor Imaging. In Communications, 2006 23rd Biennial Symposium on, Seiten 352–355. IEEE, 2006 .[11] R. Lukac and KN Plataniotis. Color Filter Arrays for Single-Sensor Imaging. In Communications, 2006 23rd Biennial Symposium on, pages 352-355. IEEE, 2006 ,
-
[12] J. Seiler and A. Kaup, ”Optimized Processing Order for improved and parallelizable selective image and video signal extrapolation,” in submitted to IEEE International Conference an Acoustics, Speech, and Signal Processing (ICASSP), Prague, Czech Repubic, May 2011 .[12] J. Seiler and A. Kaup, "Optimized Processing Order for Improved and Parallelizable Selective Image and Video Signal Extrapolation," submitted to the IEEE International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Prague, Czech Repubic, May 2011 ,
-
[13] K. Meisinger und A. Kaup. Spatiotemporal selective extrapolation for 3-d signals and its applications in video communications. IEEE Transactions an Image Processing, 16 (9): 2.348–2.360, 2007 .[13] K. Meisinger and A. Kaup. Spatiotemporal selective extrapolation for 3-d signals and its applications in video communications. IEEE Transactions to Image Processing, 16 (9): 2.348-2.360, 2007 ,
-
[14] S. G. Narasimhan und S. K. Nayar. Enhancing Resolution along Multiple Imaging Dimensions using Assorted Pixels. IEEE Transactions an Pattern Analysis and Machine Intelligence, 27 (4): 518–530, April 2005 .[14] SG Narasimhan and SK Nayar. Enhancing Resolution along Multiple Imaging Dimensions using Assorted Pixels. IEEE Transactions on Pattern Analysis and Machine Intelligence, 27 (4): 518-530, April 2005 ,
-
[15] S. K. Nayar und V. Branzoi. Adaptive dynamic range imaging: Optical control of Pixel exposures over space and time. 2003 .[15] SK Nayar and V. Branzoi. Adaptive dynamic range imaging: Optical control of pixel exposures over space and time. 2003 ,
-
[16] S. K. Nayar, V. Branzoi und T. E. Boult. Programmable imaging using a digital micromirror array. In Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on, Band 1. IEEE, 2004 .[16] SK Nayar, V. Branzoi and TE Boult. Programmable imaging using a digital micromirror array. In Computer Vision and Pattern Recognition, 2004. CVPR 2004. Proceedings of the 2004 IEEE Computer Society Conference on, Volume 1. IEEE, 2004 ,
-
[17] S. K. Nayar und T. Mitsunaga. High Dynamic Range Imaging: Spatially Varying. Pixel Exposures. In IEEE Conference an Computer Vision and Pattern Recognition (CVPR), Band 1, Seiten 472–479, Juni 2000 .[17] SK Nayar and T. Mitsunaga. High Dynamic Range Imaging: Spatially Varying. Pixel Exposures. In IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Volume 1, pages 472-479, June 2000 ,
-
[18] S. M. Potter und J. Pine. High-speed CCD array camera with random Pixel selection, 14. Oktober 2003 . VS Patent 6,633,331.[18] SM Potter and J. Pine. High-speed CCD array camera with random pixel selection, October 14, 2003 , VS patent 6,633,331.
-
[19] R. Robucci, JD Gray, L. K. Chiu, J. Romberg und P. Hasler. Compressive Sensing an a CMOS Separable-Transform Image Sensor. Proceedings of the IEEE, 98 (6): 1.089– 1.101, 2010 .[19] R. Robucci, JD Gray, LK Chiu, J. Romberg and P. Hasler. Compressive sensing on a CMOS Separable-Transform Image Sensor. Proceedings of the IEEE, 98 (6): 1089-1101, 2010 ,
-
[20] Y. Y. Schechner und S. K. Nayar. Generalized mosaicing: Wide field of view multispectral imaging. Pattern Analysis and Machine Intelligence, IEEE Transacdons on, 24 (10): 1.334–1.348, 2002 .[20] YY Schechner and SK Nayar. Generalized mosaicing: Wide field of multispectral imaging. Pattern Analysis and Machine Intelligence, IEEE Transacdons on, 24 (10): 1,334-1,348, 2002 ,
-
[21] R. T. Schneider. Image transportation device using incoherent fiber optics bundles and method of using same, 28. März 1989 . VS Patent 4,815,816.[21] RT Schneider. Image transportation device using incoherent fiber optics bundles and method of using same, March 28, 1989 , VS patent 4,815,816.
-
[22] J. Seiler und A. Kaup. Complex-valued frequency selective extrapolation for fast image and video signal extrapolation. IEEE Signal Processing Letters, 17 (11): 949–952, Nov. 2010 .[22] J. Seiler and A. Kaup. Complex-valued frequency selective extrapolation for video signal extrapolation. IEEE Signal Processing Letters, 17 (11): 949-952, Nov. 2010 ,
-
[23] P. Sen und S. Darabi. A novel framework for imaging using compressed sensing. In IEEE International Conference an Image Processing (ICIP), Seiten 2.133–2.136, Nov. 2009 .[23] P. Sen and S. Darabi. A novel framework for imaging using compressed sensing. In IEEE International Conference on Image Processing (ICIP), pages 2.133-2.136, Nov. 2009 ,
-
[24] G. Shi, D. Gao, X. Song, X. Xie, X. Chen und D. Liu. High-Resolution Imaging via Moving Random Exposure and Its Simulation. Image Processing, IEEE Transactions on, (99): 1 .[24] G. Shi, D. Gao, X. Song, X. Xie, X. Chen and D. Liu. High-Resolution Imaging via Moving Random Exposure and Its Simulation. Image Processing, IEEE Transactions on, (99): 1 ,
-
[25] G. B. Slagle. Random-scan, random Pixel size imaging system, 7. April 2009 . VS Patent 7,515,189.[25] GB Slagle. Random scan, random pixel size imaging system, April 7, 2009 , VS patent 7,515,189.
-
[26] D. Takhar, J. N. Laska, M. Wakin, M. F. Duarte, D. Baron, S. Sarvotham, K. F. Kelly und R. G. Baraniuk. A new compressive imaging camera architecture using optical-domain compression. IS&T/SPIE Computational Imaging IV; 6.065, 2006 .[26] D. Takhar, JN Laska, M. Wakin, MF Duarte, D. Baron, S. Sarvotham, KF Kelly and RG Baraniuk. A new compressive imaging camera architecture using optical-domain compression. IS & T / SPIE Computational Imaging IV; 6.065, 2006 ,
-
[27] F. Yasuma, T. Mitsunaga, D. Iso und S. K. Nayar. Generalized Assorted Pixel Camera: Post-Capture Control of Resolution, Dynamic Range and Spectrum. IEEE Transactions an Image Processing, 99, März 2010 .[27] F. Yasuma, T. Mitsunaga, D. Iso and SK Nayar. Generalized Assorted Pixel Camera: Post-Capture Control, Dynamic Range and Spectrum. IEEE Transactions to Image Processing, 99, March 2010 ,
-
[28] G. Zapryanov und I. Nikolova. Demosaicing methods far pseudo-random Bayer color filter array. In Proc. ProRisc, Seiten 687–692, 2005 .[28] G. Zapryanov and I. Nikolova. Demosaicing methods for pseudo-random Bayer color filter array. In Proc. ProRisc, pages 687-692, 2005 ,
-
[29] W. Zhu, K. Parker und M. A. Kriss. Color filter arrays based an mutually exclusive blue noise patterns. Journal of Visual Communication and Image Representation, 10 (3): 245–267, 1999 .[29] W. Zhu, K. Parker and MA Kriss. Color filter arrays based on mutually exclusive blue noise patterns. Journal of Visual Communication and Image Representation, 10 (3): 245-267, 1999 ,
