DE102021103095A1

DE102021103095A1 - Bildverarbeitende Messeinrichtung und Verfahren zur digitalen Übertragung von Bildinformationen

Info

Publication number: DE102021103095A1
Application number: DE102021103095.1A
Authority: DE
Inventors: Dirk Beckmann; Thorsten Bothe; Bennet Böttinger; Eric Oertel; Matthias Stein; Mladen Gomercic
Original assignee: Carl Zeiss Industrielle Messtechnik GmbH; Carl Zeiss GOM Metrology GmbH
Current assignee: Carl Zeiss Industrielle Messtechnik GmbH; Carl Zeiss GOM Metrology GmbH
Priority date: 2021-02-10
Filing date: 2021-02-10
Publication date: 2022-08-11

Abstract

Eine bildverarbeitende Messeinrichtung (1) mit einem Bildsensor (2) und einer Datenverarbeitungseinheit (3) wird beschrieben, die zur digitalen Verarbeitung der von dem Bildsensor (2) aufgenommenen Bildsignale (IN) eingerichtet ist. Die Datenverarbeitungseinheit (3) ist zur Digitalisierung der aufgenommenen Bildsignale (IN) mit einem von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert (IN) abhängig gewählten digitalisierten Bildinformationswert (OUT) eingerichtet.

Description

Die Erfindung betrifft eine bildverarbeitende Messeinrichtung mit einem Bildsensor und einer Datenverarbeitungseinheit, die zur digitalen Verarbeitung der von dem Bildsensor aufgenommenen Bildsignale eingerichtet ist.
Die Erfindung betrifft weiterhin ein Verfahren zur digitalen Übertragung von Bildsignalen, die mit einem Bildsensor aufgenommen wurden.
Bildverarbeitende Messeinrichtungen haben in der Regel mindestens einen Bildsensor mit einer daran angeschlossenen Datenverarbeitungseinheit, mit der die vom Bildsensor aufgenommenen Bildinformationen der Bildpixel eines Bildes in digitale Bildinformationen umgewandelt werden.
Die Technik der Bildsensoren lässt sich mit dem Standardmodell eines Sammeltopfes für Elektronen vereinfacht beschreiben. Die auf einem Sensorpixel angesammelte Anzahl der Elektronen ist ein Maß für die dortige Helligkeit. Diese Anzahl der Elektronen als das eigentliche Messsignal für einen jeweiligen Bildpunkt wird zur Übertragung an eine nachgelagerte Bildverarbeitung in Grauwerte digitalisiert. In entsprechender Weise können auch wellenlängenabhängige Farbwerte als Bildinformationen erfasst und in Farbwerte digitalisiert werden (z.B. Multikanalsysteme wie RGB = Rot-Grün-Blau-Werte oder CMYK = Cyan Magenta Yellow Black oder Hyperspektral).
Die Umwandlung der von dem Bildsensor aufgenommenen Bildsignale in digitale Bildwerte erfolgt durch Quantisierung mit einer vorgegebenen Anzahl von Quantisierungsstufen, die von der Auflösung des digitalen Bildwertes, d.h. den Binärstellen abhängig ist. Je feiner die Auflösung der digitalen Bildwerte ist, desto größer ist die Datenmenge und die zur Übertragung erforderliche Datenbandbreite bzw. die Übertragungs- und Messzeit. In der Praxis wird eine maximale Bildqualität in minimaler Zeit und mit geringster Datenbandbreite gewünscht. Die Bildübertragung sollte dabei möglichst effizient und mit möglichst geringen Verlusten erfolgen.
Dies erfordert bei der Digitalisierung einen Kompromiss.
Die herkömmliche Kamera-Hardware ist mittlerweile bis zur Grenze des physikalisch Möglichen optimiert und kann als effizient angesehen werden. Die Digitalisierung der vom Bildsensor erfassten Bildsignale, welche die Anzahl gesammelter Elektronen repräsentiert, zu den von der Kamera an eine nachgelagerte Bilddatenverarbeitungseinheit übermittelten digitalen Bildwerten erfolgt in der Regel über eine lineare Verstärkung.
WO 2008/080736 A1 beschreibt eine Belichtungsregelung für eine HDR-Kamera mit einer Anpassung der Empfindlichkeitskennlinie des Bildwandlers an die Lichtintensitätsverteilung eines auf die fotosensitive Fläche des Bildwandlers projizierten optischen Bildes. Ein angepasster Parametersatz von Einstellwerten des Bildwandlers wird auf der Grundlage der bestimmten Quantile der Häufigkeitsverteilung der Bildsignalwerte des von dem Bildwandler umgewandelten optischen Bildes erstellt. Damit lässt sich der Bildwandler so steuern, dass der Dynamikbereich des Bildwandlers verbessert wird. Damit wird bereits bei der Bilderfassung eine Übersteuerung verhindert, welche bei der Umwandlung der Helligkeitswerte eines Bildelementes des optischen Eingangsbildes in einen Signal- bzw. Grauwert des Ausgangsbildes auftritt und die wesentlich von der Empfindlichkeit des einzelnen Bildwandlerelementes bestimmt wird.
Beispielsweise mit einer Kennlinie (auch als LinLog- oder Multislope-Kennlinie bezeichnet), bei der sich die Empfindlichkeitskennlinie aus zwei oder mehr linearen Kennlinienabschnitten unterschiedlicher Steigung zusammensetzt, werden Intensitätsunterschiede im oberen Helligkeitsbereich komprimierter umgewandelt, als Intensitätsunterschiede im unteren Helligkeitsbereich. Die Empfindlichkeitskennlinie wirkt bei der Bilderfassung auf den jeweiligen Bildpunkt zurück, sodass die von dem Bildsensor aufgenommenen Bildinformationen der einzelnen Bildpixel nicht mehr linear zueinander sind. Die aufgenommenen Bildinformationen sind daher für Messzwecke nur eingeschränkt verwendbar.
Ein Problem von Kameras mit interner Logarithmus-Kennlinie ist, dass die Einzelpixel dieser Kameras unterschiedliche Kennlinien aufweisen, was in Verbindung mit notwendigen Korrekturfunktionen der Kamera, wie Schwarz- und Weiß-Abgleich zur lokalen Korrektur, für den Einsatz für messtechnische Aufgaben aufgrund von Abstrichen in der Genauigkeit nachteilig ist.
Weiterhin sind Kameras mit integrierten Prozessoren bekannt, die in Echtzeit eine verlustfreie Bildkompression durchführen.
EP 3 059 964 A1 beschreibt ein Verfahren zur verlustlosen Datenkompression von Videobildern, bei dem die Differenzen zwischen einem aktuellen Pixelwert und dem vorhergehenden Pixelwert für jeden Bildpixel berechnet wird. Aus der minimalen und maximalen Differenz eines Segmentes wird ein Offset zur Minimierung der zur Codierung erforderlichen Anzahl von Bitstellen berechnet.
US 8,711,249 B2 beschreibt ein Verfahren und eine Vorrichtung zur Rauschreduzierung in Bildern, wobei Rauschpegel basierend auf einem Rauschmodell und Kameraparameter für jeden Kanal vorhergesagt werden, um eine Look-up-Tabelle für das Signal-Rausch-Verhältnis zu berechnen. Diese wird dann zur Filterung der verstärkten und mit Weiß- und Gamma-Abgleich vorverarbeiteten aufgenommenen Bilddaten eines Bildsensors genutzt.
Ausgehend hiervon ist es Aufgabe der vorliegenden Erfindung, eine verbesserte bildverarbeitende Messeinrichtung und ein verbessertes Verfahren zur digitalen Übertragung von Bildinformationen zu schaffen.
Die Aufgabe wird mit der bildverarbeitenden Messeinrichtung mit den Merkmalen des Anspruchs 1 und durch das Verfahren mit den Merkmalen des Anspruchs 12 gelöst.
Vorteilhafte Ausführungsformen sind in den Unteransprüchen beschrieben.
Bei einer gattungsgemäßen bildverarbeitenden Messeinrichtung wird vorgeschlagen, dass die Bildverarbeitungseinheit zur Digitalisierung der aufgenommenen Bildsignale mit einem von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert abhängig gewählten digitalisierten Bildinformationswert eingerichtet ist.
Damit wird ausgenutzt, dass der durch Rauschen bestimmte Anteil der vom Bildsensor aufgenommenen Bildsignale keinen nennenswerten bzw. mit vertretbarem Aufwand vom Rauschanteil rekonstruierbaren Informationswert hat. Bei der Digitalisierung kann dieser Anteil unberücksichtigt bleiben. Hierdurch kann die Auflösung der digitalisierten Bildinformationswerte ohne relevante Quantisierungsverluste reduziert werden. Der nutzbare Dynamikbereich kann auf diese Weise vergrößert werden, insbesondere wenn bei begrenzter Bandbreite der Detailgrad für Graustufen, welche nicht so stark vom Rauschen betroffen sind, erhöht wird. Zudem kann gleichzeitig der Rauscheinfluss reduziert werden.
Damit werden ein Informationsverlust und ein Quantisierungsfehler in Kauf genommen. Der Informationsgehalt bzw. Fehler ist aber kleiner als der durch das Rauschen verursachte Einfluss, wäre vom Rauschen nur mit großem Aufwand zu trennen und ist damit vernachlässigbar.
Der Rauschanteil kann beispielsweise das korrelierte Poisson-Rauschen sein.
Das Poisson-Rauschen sig_l% beträgt für einen normierten Füllgrad I% der Pixelkapazität eines Sensorpixels des Bildsensors, der je nach aufgenommener Helligkeit zwischen Null bis Eins (0 bis 100%) variiert: $s i g_1 % = \frac{\sqrt{(1 % * F W C)}}{F W C} = \sqrt{\frac{1 %}{F W C}} .$
Dabei ist FWC die Maximalfüllung eines Sensorpixels des Bildsensors mit Elektronen e.
Bei Bildsensoren als Rauschquelle ist fast nur noch dieses helligkeitskorrelierte Poisson-Rauschen relevant, das mit der Wurzel der in einem Topf (Sensorpixelelement) gesammelten Elektronen ansteigt.
Die Anzahl gesammelter Elektronen e wird als Bildsensorsignal (Helligkeits- oder Farbsignal) üblicherweise mit einer vorgewählten Anzahl von Digitalisierungsstufen 2⁸ mit B = Anzahl an Bits digitalisiert und übertragen. Das an eine Datenverarbeitungseinheit übermittelte Helligkeitssignal entspricht der Anzahl der gesammelten Elektronen e mit einem Verstärkungsfaktor, der z.B. die Maximalfüllung FWC genau auf einen maximalen Grauwert 2^B-1 verstärkt. Der digitalisierte Bildinformationswert berechnet sich dann zu $I = (2^{B} - 1) * \frac{e}{F W C}$
Das Poisson-Rauschen sig_P ist bei einer solchen Behandlung mit einem einzigen Verstärkungsfaktor wurzelabhängig von der gemessenen Helligkeit nach der Formel: $s i g_P = \frac{\sqrt{(1 * F W C)}}{2^{B - 1}} * \frac{(2^{B} - 1)}{F W C} = \sqrt{1} * \sqrt{\frac{(2^{B} - 1)}{F W C}}$
Bei typischen Werten von FWC = 10.000 und B = 8 ergibt sich beispielsweise ein Poisson-Rauschen sig_P nach der Formel: $s i g_P = 0,16 * \sqrt{I}$
Bei einem Helligkeitswert von 255 beträgt das Rauschen 2,6 Helligkeitsstufen, so dass eine viel gröbere Abtastung möglich wäre und ansonsten Bandbreite zur Übertragung der hellen Bildbereiche vergeudet wird.
Das Rauschen wird kleiner als eine Abtastungs-Bildsignalwertstufe (z.B. Grauwertstufe) ab $1 = \sqrt{(1)} * \sqrt{\frac{(2^{B} - 1)}{F W C}}$
Für das Beispiel liegt der Grenzwert bei I = 39. Bildsignalwerte unter dem Wert 39 leiden dann unter dem Quantisierungsrauschen, sodass bei einer zu groben Abtastung Informationen verloren gehen.
Damit kann für die Digitalisierung von Helligkeitswerten, bei denen das Rauschen größer als eine Abtastungs-Helligkeitssignalwertstufe ist, gröber eingestellt werden. Auf diese Weise kann ohne nennenswerten Informationsverlust eine effizientere Übertragung erreicht werden.
Dies führt zu einer nichtlinearen Kennlinie, anhand der die Digitalisierung der Bildinformationen erfolgt.
Bei der herkömmlichen linearen Verstärkung mit festem Quantisierungsraster sind die Quantisierungsstufen in dunklen Bildbereichen hingegen gröber als das (Poisson)-Rauschen, sodass Bildinformationen und Dynamik verloren gehen.
Für die verbesserte Digitalisierung der Bildsignale kann ausgenutzt werden, dass das Rauschen einer Kamera mit der aufgenommenen Helligkeit variiert. Es muss nicht für jede Aufnahme spezifisch ermittelt werden, sondern kann als (statistisches) Rauschen generell angenommen, d.h. vorbestimmt werden.
Anhand dieses Zusammenhangs kann dann zur Digitalisierung der Bildsignale entweder eine nichtlineare Anpassung der Digitalisierungsstufen erfolgen. Denkbar ist aber auch, dass das Bildsignal, insbesondere das Helligkeitssignal, vor einer gleichförmigen Digitalisierung mit einer nichtlinearen Kennlinie verstärkt wird.
Unter einer Verstärkung im Sinne der vorliegenden Erfindung wird nicht nur eine Anhebung des Signalpegels verstanden, sondern auch eine Absenkung. Der Verstärkungsfaktor muss damit nicht zwangsläufig größer als Eins sein. Er kann auch kleiner sein.
Die Datenverarbeitungseinheit kann zur Verstärkung der von dem Bildsensor aufgenommenen Bildsignale mit einem Verstärkungsfaktor eingerichtet sein, der durch eine von dem jeweiligen Bildsignalwert abhängige nichtlineare Kennlinie bestimmt ist.
Die Abschnitte der nichtlinearen Kennlinie können dann beispielsweise durch die Grenzwerte bestimmt sein, in denen das Rauschen jeweils größer als eine Abtastungs-Quantisierungsstufe wird, sodass mit einer oberhalb dieses Grenzwertes liegenden gröberen Abtastung keine Informationen verloren gehen.
Die Datenverarbeitungseinheit kann zur äquidistanten Quantisierung der mit einer nichtlinearen Kennlinie verstärkten Bildsignale eingerichtet sein.
Damit werden die von dem Bildsensor aufgenommenen Bildsignale, d.h. die Bildsignalwerte zunächst mit Hilfe der nichtlinearen Verstärkung in angepasste Bildsignalwerte überführt, die dann mit einer äquidistanten linearen Quantisierung in digitale Bilddaten überführt werden. Die Auflösung der Quantisierung und damit der Bilddaten kann dabei für den gesamten Wertebereich konstant sein.
Denkbar ist, dass die Datenverarbeitung zur Digitalisierung der jeweiligen Bildsignale der durch Umsetzung der mit einer ersten Auflösung von dem Bildsensor bereitgestellten Bildsignale in eine zweite Auflösung eingerichtet ist. Der jeweilige Rauschanteil der Bildsignale ist hierbei ein Maß zur Festlegung der zweiten Auflösung für die Umsetzung der jeweiligen Bildsignale. Damit wird die durch die Berücksichtigung des Rauschanteils informationsoptimierte Stufung ohne notwendige vorherige nichtlineare Verstärkung im Schritt der Digitalisierung der Bildsignale des Bildsensors, d.h. der Quantisierung vorgenommen.
Hierbei ist auch denkbar, dass die von dem Bildsensor bereitgestellten Bildsignale bereits in abgetasteter digitaler Form mit einer ersten Auflösung vorliegen. Für den Fall, dass der Rauschanteil eine verlustlose Reduzierung der Auflösung zulässt, kann die erste Auflösung feiner als die für diesen Fall ausgewählte gröbere zweite Auflösung sein.
Die Datenverarbeitungseinheit kann zur Umsetzung mit einer Look-Up-Tabelle eingerichtet sein, die eine Digitalisierung der in einer feineren Stufung der in der ersten Auflösung von dem Bildsensor bereitgestellten digitalen Bildsignalwerte in eine gröbere Stufung definiert.
Dies ermöglicht eine schnelle, Rechenleistung einsparende Digitalisierung der Bildsignale und lässt sich insbesondere auf einfache Weise bei Bildsensoren implementieren, die bereits Zugriffsmöglichkeiten auf aufgenommene Bildsignale mit einer Look-Up-Tabelle für eine Verstärkungsfunktion, eine Aufhellungsfunktion (z.B. Gamma-Korrektur) oder ähnliches bereitstellen.
Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer nichtlinearen Kennlinie mit monotonem Verlauf eingerichtet sein. Dies hat den Vorteil, dass eine Umkehrung möglich ist, sodass nach der komprimierten Übertragung der Bildinformationen die tatsächlichen Informationen wieder zurückgewonnen werden können.
Dies ist unter Umständen für besondere Messaufgaben hilfreich.
Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer Kennlinie erfolgen, die einen durch eine Wurzelfunktion bestimmten Abschnitt hat.
Bei einer klassischen linearen Übertragung mit einem Verstärkungsfaktor 2^B-1 auf den resultierenden Helligkeitswert I% ergibt eine Fehlerfortpflanzungsrechnung mit partieller Ableitung: $\begin{array}{l} I_l i n (I %) - I % * (2^{B} - 1) \\ \Rightarrow s i g_I_l i n = [\frac{d I (I %)}{d I %}] * s i g_I % = (2^{B} - 1) * \sqrt{\frac{I %}{F W C}} \end{array}$
Dies entspricht einem korrelierten Rauschen in allgemeiner Form. Nun können beliebige Funktionen I_LUT(I%), die bevorzugt den normierten Helligkeitswert I% auf denselben Wertebereich [0; 1] mit einer Look-Up-Tabelle LUT abbilden, gleichartig berechnet werden.
Eine Kennlinie, die der normierten Wurzelfunktion entspricht und die von dem Bildsensor aufgenommenen Helligkeitswerte I% in digitalisierte Helligkeitsdaten I_sqrt umwandelt entspricht der Wurzelfunktion $I_s q r t = (2^{B} - 1) * \sqrt{(I %)}$
Für das Rauschen der resultierenden sig_I_sqrt ergibt sich dann: $s i g_I_s q r t = (2^{B} - 1) * [\frac{d \sqrt{(I %)}}{d I %}] * s i g_I % = \frac{(2^{B} - 1)}{2 * \sqrt{(I %)}} * \sqrt{\frac{(I %)}{F W C}}$
d.h. $s i g_I_s q r t = \frac{(2^{B} - 1)}{2 * \sqrt{(F W C)}} .$
Bei einem solchen konstanten Rauschen ist eine konstante Stufung der digitalisierten Bildwerte (z.B. Grauwerte) mit einer Wurzelfunktion passend. Bei typischen Werten von FWC = 10.000 und B = 8 beträgt das Rauschen der Resultierenden sig_I_sqrt = 1,28, sodass alle Messwerte ohne nennenswerte Quantisierungseffekte übertragen werden. Die verbleibenden Quantisierungseffekte liegen unterhalb des Rauschens und sind damit vernachlässigbar. Das Rauschen in den Bildern ist dabei konstant und vom Bildinhalt entkoppelt. Dies erlaubt zum Beispiel die Anwendung ungewichteter Least-Square-Algorithmen zur Filterung, ohne dass systematisch Fehler eingebracht werden.
Lediglich für die dunkelsten Grauwerte wird die Steigung der Wurzelfunktion steiler, als die intern bereitgestellten Bildsignalwerte des Bildsensors. In diesem Fall kann bevorzugt am Anfang der Wurzelfunktion direkt eine Digitalisierung mit höchster (interner) Auflösung vorgesehen werden. Die Übertragungsfunktion ist dann im Anfangsbereich steil-linear mit einem gleitenden Übergang zur Wurzelfunktion. Der Übergang kann in dem vorgenannten Beispiel vorzugsweise bei 28% (1,28) als Wert des Rauschens liegen.
Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer Kennlinie erfolgen, die in aufeinander folgenden Fragmenten jeweils einen linearen Verlauf mit voneinander verschiedenen Steigungen hat. Eine solche stückweise lineare Kennlinie ist vor allem dann vorteilhaft, wenn die mit einer feinen Auflösung abgetasteten Bildsensordaten des Bildsensors in Bilddaten mit gröberer Auflösung, d.h. mit einer geringeren Anzahl an Bits zur Digitalisierung umgewandelt werden soll, um Bandbreite zu sparen, wobei die Bitlänge konstant gehalten wird.
Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale mit einer Kennlinie erfolgen, dessen Steigung durch einen durch die feinste verfügbare Quantisierungsstufung des Bildsensors bestimmten Grenzwert limitiert ist. Die Steigung ist ein Maß für die Reduzierung der Auflösung der vom Bildsensor aufgenommenen Bilddaten zu der Auflösung nach der Digitalisierung der Bildsignale durch die Datenverarbeitungseinheit. Die Quantisierungsstufung, mit der eine informationsoptimierte Digitalisierung unter Reduzierung der Auflösung noch möglich ist, bestimmt den Grenzwert für die Kompression der Daten, die ohne Informationsverlust durch Reduzierung der Auflösung, d.h. der Anzahl an Binärstellen bzw. der Bitbreite möglich ist.
Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale aus einem Kanal mit Helligkeitswerten des Bildsensors eingerichtet sein. Denkbar ist aber auch, dass die Digitalisierung für mehrere Kanäle mit Helligkeits- und/oder Farbwerten des Bildsensors eingerichtet ist. Die Bildinformation muss daher nicht zwangsläufig Helligkeits- und zugehörige Grauwerte umfassen. Sie kann auch Farbinformationen umfassen oder optional auch eine Kombination aus Helligkeits- und Farbinformationen sein.
Die Datenverarbeitungseinheit kann zur Digitalisierung der Bildsignale von mehreren Bildsensoren eingerichtet sein. Insofern ist der unbestimmte Begriff „einem Bildsensor“ und „einer Datenverarbeitungseinheit“ als solcher zu verstehen, der weitere Elemente nicht ausschließt. Der unbestimmte Begriff „ein“ ist, sofern sich aus dem Zusammenhang nicht eindeutig etwas anderes ergibt, als solcher und nicht als Zahlwort zu verstehen.
Die Erfindung wird anhand von Ausführungsbeispielen mit den beigefügten Zeichnungen näher erläutert. Es zeigen:

1 - Blockdiagramm einer bildverarbeitenden Messeinrichtung;
2 - Skizze einer Bildaufnahme einer Laserlinie auf hellem und dunklem Material mit linearer Verstärkung (a), bei Übertragung nur der 8 Bits mit dem höchsten Stellenwert (b) und bei Digitalisierung mit nicht-linearer Kennlinie (c);
3 - Diagramm einer monotonen, nicht-linearen Kennlinie mit drei stückweise linearen Abschnitten A, B und C;
4 - Diagramm einer monotonen, nicht-linearen Kennlinie mit anfänglichem linearen Abschnitt und sich daran anschließender Wurzelkennlinie.

1 zeigt ein Blockdiagramm einer bildverarbeitenden Messeinrichtung 1 mit einem Bildsensor 2 und einer Datenverarbeitungseinheit 3.
Der Bildsensor 2 erfasst Bildsignale eines Bildes, die als analoge Bildsignalwerte oder abgetastete (quantisierte) digitale Bildsignalwerte IN an die Datenverarbeitungseinheit 3 weitergeleitet werden.
Der Bildsensor 2 kann beispielsweise ein Halbleitersensor mit bildempfindlichen Pixeln zur Messung der auf dem Bildpixel einfallenden Lichtmenge sein. Geeignet sind beispielsweise CCD-Sensoren (Charge-Coupled Device), Bayer-Sensoren mit Farbfiltern zur Farbsignalerfassung oder ein Active Pixel Sensor (APS) mit integrierter Verstärkerschaltung zum Auslesen von Signalen für jedes Bildelement.
Die Datenverarbeitungseinheit 3 kann ein geeignet programmierter Mikrocontroller oder Mikroprozessor sein oder einen solchen beinhalten. Die Datenverarbeitungseinheit 3 kann zusammen mit dem Bildsensor 2 eine integrale Einheit bilden. Denkbar ist aber auch, dass die Datenverarbeitungseinheit 3 separat von dem Bildsensor 2 ist. Die Datenübertragung zwischen dem Bildsensor 2 und der Datenverarbeitungseinheit 3 erfolgt dann drahtgebunden über eine Verbindungsleitung oder drahtlos mittels elektromagnetischer Wellen (Funk oder optisch).
Die Datenverarbeitungseinheit 3 ist dazu eingerichtet, die analogen oder mit einer ersten Auflösung quantisierten Bildsignalinformationen, die vom Bildsensor 2 aufgenommen wurden, an eine nachgelagerte Auswerteeinheit 4 zu übertragen.
Die zur Übertragung der digitalisierten Bildinformationswerte OUT von der Datenverarbeitungseinheit 3 in eine Auswerteeinheit 4 steht in der Regel nur eine begrenzte Datenbandbreite zur Verfügung. Die vom Bildsensor 2 erfassten Messinformationen müssten daher unter Umständen bei begrenzter Datenbandbreite zwischengespeichert werden. Dies ist aufwendig. Zudem kommt es zur Verzögerung bei der Datenübertragung.
Zur effizienten Bilddatenübertragung mit geringen Informationsverlusten ist die Datenverarbeitungseinheit 3 eingerichtet, um die von dem Bildsensor 2 aufgenommenen Bildsignale IN mit einem von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert (z.B. Bildpixel) abhängig gewählten digitalisierten Bildinformationswert OUT zu digitalisieren.
Damit erfolgt entweder die Quantisierung eines analogen Bildsignals des Bildsensors 2 oder die Digitalisierung eines digitalen Bildsignalwertes von einer höheren Auflösung in eine geringere Auflösung.
Die Digitalisierungsverluste werden dadurch verringert oder vermieden, indem nur in dem Grad eine Reduzierung der Auflösung erfolgt, in dem der von dem Bildsensor 2 aufgenommene Bildsignalwert IN ohnehin durch Rauschen überlagert ist und in diesem Umfang ohnehin keinen Informationswert hat.
2 zeigt eine Skizze einer Bildaufnahme einer Laserlinie auf zwei unterschiedlich stark reflektierenden Materialien, die in eine helle und eine dunkle Linie resultieren. Die quadratischen Bildbereiche weisen auf der linken Hälfte ein helles, stark reflektierendes Material und auf der rechten Hälfte ein dunkles, schlecht reflektierendes Material auf.
Es soll nun die Position der Laserlinie ermittelt werden. Aufgrund einer hohen gewünschten Messgeschwindigkeit stehen beispielsweise nur 8 Bits Bandbreite für die Übertragung der digitalen Bildinformationswerte OUT zur Verfügung.
Die obere Bildaufnahme (a) zeigt die Digitalisierung der von dem Bildsensor 2 ursprünglich mit 10 Bits Auflösung aufgenommenen Laserlichtlinie für den Fall, dass die von dem Bildsensor aufgenommene Bildinformation mit 10 Bits Auflösung linear mit einem einzigen Verstärkungsfaktor (Gain) verstärkt und nur die 8 geringwertigsten Bits (LSB = Least Significant Bits) übertragen werden. Dies entspricht einem Betrieb mit einem Verstärkungsfaktor von 4. Es ist erkennbar, dass der diagonal gestrichelte Bereich auswertbar ist.
Der auf der linken Seite etwa auf der Mittellinie erkennbare kariert gemusterte Bereich ist übersteuert. Dieser übersteuerte Bereich ist für eine Auswertung unbrauchbar.
Der weiße Bereich der Skizze außerhalb der gemusterten Bereiche ist zu dunkel und damit auch nicht auswertbar.
In der mittleren Skizze (b) erfolgt die Digitalisierung der vom Bildsensor 2 mit 10 Bits Auflösung aufgenommenen Bildinformationen dadurch, dass nur die 8 höchstwertigen Bits (MSB = Most Significant Bits) ausgewählt und übertragen wurden. Dies entspricht einem Kamera-Normalbetrieb, bei dem die Helligkeitswerte linear übertragen werden. Es ist nur der diagonal schraffierte Bereich auswertbar. Der weitere umgebende, in der Skizze weiße Bereich ist zu dunkel, untersteuert und damit nicht mehr auswertbar. Deutlich wird, dass ein wesentlicher Teil der Informationen verloren geht und nur eine helle Linie im Bereich des linken, hellen, stark reflektierenden Materials messbar ist.
In der Skizze (c) wurden die von dem Bildsensor 2 mit 10 Bits Auflösung aufgenommenen Bildinformationen mit einer nichtlinearen Kennlinie verstärkt bzw. umgerechnet, bevor diese mit 8 Bits quantisiert wurden. Dadurch wurde die in der Skizze (a) erkennbare Übersteuerung des kariert gemusterten Bereiches vermieden und ansonsten der diagonal schraffierte und auswertbare Bereich ohne Informationsverlust übertragen. Damit ist die Laserlinie sowohl auf dem hellen, stark reflektierenden Material auf der linken Hälfte des Bildbereiches, als auch auf dem dunklen, schlecht reflektierenden Material im rechten Bildbereich auswertbar.
Trotz der Reduzierung der Auflösung auf 8 Bits wurde durch die nichtlineare Kennlinie ein Informationsverlust vermieden.
3 zeigt ein Diagramm der für die Bildaufnahme in 2 genutzten monotonen, nichtlinearen Kennlinie mit drei stückweise linearen Abschnitten A, B und C.
Die von dem Bildsensor 2 aufgenommenen und mit einer Auflösung von 10 Bits quantisierten Bildsignale INPUT = IN wurden mit einer Look-Up-Tabelle auf Grundlage der im Diagramm dargestellten Kennlinie in digitalisierte Bildinformationswerte (OUTPUT Grauwert) umgewandelt. Dabei wurden von dem Bildsensor 2 nur Helligkeitswerte erfasst, die durch die Abtastung in Grauwerte quantisiert wurden.
Deutlich wird, dass die nichtlineare Kennlinie im Anfangsbereich bei kleinen Grauwerten eine hohe Steigung aufweist. An diesen ersten Abschnitt A schließt sich dann ein zweiter Abschnitt B mit einer geringeren Steigung an. Dieser geht dann in einen dritten Abschnitt C mit noch geringerer Steigung über.
Die Grenzen vom Übergang des ersten Abschnitts A in den zweiten Abschnitt B und von dem zweiten Abschnitt B in den dritten Abschnitt C werden durch das Rauschverhalten bestimmt.
Bei der dargestellten stückweisen linearen Look-Up-Tabelle von 10 Bits zu 8 Bits Auflösung ist bis zum Grauwert 64 ein Verstärkungsfaktor von 4 vorgesehen. Von dort ist bis zu einem Grauwert von 256 ein Verstärkungsfaktor von 4/3 vorgesehen. Daran schließt sich in dem dritten Abschnitt C bis zum Grauwert 1024 ein Verstärkungsfaktor von 4/6 an.
Denkbar sind vergleichbare monotone, nichtlineare Kennlinien mit entweder nur zwei Abschnitten oder mehr als drei Abschnitten.
Dies hängt von dem Rauschanteil in den jeweiligen Bereichen der vom Bildsensor 2 aufgenommenen Bildsignalwerte, wie beispielsweise Grauwerte, ab.
4 zeigt ein anderes Diagramm einer monotonen, nichtlinearen Kennlinie mit anfänglichen linearen Abschnitt und sich daran anschließende Wurzelkennlinie.
Wenn nun die vom Bildsensor 2 aufgenommenen analogen Bildsignale oder mit einer höheren Auflösung quantisierten Bildsignalwerte entsprechend ihrem Eingangssignalwert mit der monotonen, nichtlinearen Wurzelkennlinie verstärkt und in Ausgangsgrauwerte umgerechnet werden, dann wird ein in diesem Schritt oder anschließend mit einer geringeren Auflösung digitalisierter Bildinformationswert bereitgestellt, bei dem keine nennenswerte Informationsverluste auftreten und der trotzdem im Vergleich zur von dem Bildsensor 2 aufgenommenen Bildinformation komprimiert ist. Quantisierungseffekte werden mit der informationsoptimierten Stufung der Bildinformationswerte vermieden und die Qualität der Auswertung verbessert.
Wenn beispielsweise ein mit hoher Auflösung von 10 oder 12 Bits aufgenommenes Bild linear verstärkt und damit aufgehellt wird, dann führt es in dunklen Bereichen nicht zu zusätzlichen Informationen. Dies kann zu einer fehlerhaften Bestimmung von Bildinformationen mit sehr dunklen Umgebungswerten führen.
Durch die Digitalisierung der Bildinformationen in Abhängigkeit von dem jeweiligen Rauschanteil beispielsweise mit der in der 4 gezeigten Wurzelkennlinie mit anfänglichen linearen Bereich nimmt das Rauschen in allen homogenen Bereichen ähnliche Werte an. Die Korrelation des Poisson-Rauschens mit der Bildhelligkeit wird aufgehoben.
Dies hat vor allen Dingen einen Vorteil, wenn später noch eine Filterung der digitalisierten Bildinformation beispielsweise mit Least-Square-Algorithmen erfolgt. Wenn die von der Helligkeit abhängigen Fehler, die durch das Poisson-Rauschen verursacht werden, bei der Least-Square-Optimierung nicht beachtet werden, tritt ein Fehler in der Größenordnung des Poisson-Rauschens auf. Wenn hingegen der den Bildinformationswerten zugeordnete Rauschpegel beachtet wird, wird ein Least-Square-Fit erhalten, der durch die Fehlerintervalle läuft und ein deutlich besseres Messergebnis liefert.
Die beispielsweise in den 3 und 4 skizzierten Diagramme können als Look-Up-Tabellen auf einfache Weise in herkömmlichen Kameras eingesetzt werden, die bereits eine Umsetzung solcher Kennlinien über ein Mapping vorsehen, um intern mit höherer Auflösung aufgenommene Bildsignalwerte (z.B. Helligkeitswerte) auf die final zur Übertragung verwendeten digitalisierten Bildinformationswerte (z.B. Grauwerte) umzusetzen.
Damit wird der Dynamikumfang erweitert, d.h. es können mehr Informationen bei gleicher Bandbreite übertragen werden.
Für den Fall einer Wurzelkennlinie wird zusätzlich das korrelierte Poisson-Rauschen in ein Normalrauschen gewandelt, was Vorteile bei der folgenden Bildverarbeitung hat.
Voraussetzung ist ein Zugriff auf die von dem Bildsensor 2 aufgenommenen Bildsignale entweder im analogen oder im digitalen Format, bevor diese mit einer zur Datenübertragung geeigneten Auflösung digitalisiert werden. Die mindestens erforderliche Auflösung, um bei einer gegebenen Maximalfüllung FWC Bildsignale verlustfrei zu übertragen ergibt sich nach der Formel: $Minimal benotigte Anzahl von Graustufen = 2 * \sqrt FWC .$
Für eine einfache Kamera mit FWC = 1000 Elektronen sind lediglich 6 Bits zur Übertragung erforderlich, ohne dass wesentliche Quantisierungsverluste auftreten.
Vorteilhaft ist es, wenn der Bildsensor 2 die Daten mit einem hohen Oversampling im Vergleich zur benötigten Auflösung bereitstellen. Die Differenz zwischen der hohen Auflösung zu der geringeren Auflösung für die digitalisierten Bildinformationswerte sollte vorzugsweise mindestens 2 Bits und mehr betragen. So ist eine Umsetzung von einer 10 Bits Auflösung auf 8 Bits oder bevorzugt von 12 Bits auf 8 Bits geeignet für eine informationsoptimierte Stufung der Bildinformationen bei der Digitalisierung.
Die Umsetzung der Digitalisierung in Abhängigkeit vom jeweiligen Rauschanteil kann gegebenenfalls auch in mehreren Schritten erfolgen, beispielsweise in Verbindung mit einer zweistufigen Verstärkung oder einer Aufhellfunktion (z.B. Kamera-Korrektur).
Als bildverarbeitende Messeinrichtung eignen sich nicht nur Schwarz-Weiß-Kameras. Die vom jeweiligen Rauschanteil abhängige Digitalisierung der Bildinformationen kann gleichermaßen auch für Farbinformationen beispielsweise einer RGB-Kamera oder von Spektralinformationen einer Hyperspektral-Kamera eingesetzt werden.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2008/080736 A1 [0008]
EP 3059964 A1 [0012]
US 8711249 B2 [0013]

Claims

Bildverarbeitende Messeinrichtung (1) mit einem Bildsensor (2) und einer Datenverarbeitungseinheit (3), die zur digitalen Verarbeitung der von dem Bildsensor (2) aufgenommenen Bildsignale (IN) eingerichtet ist, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) in einen von dem jeweiligen Rauschanteil in einem jeweiligen Bildsignalwert (IN) abhängig gewählten digitalisierten Bildinformationswert (OUT) eingerichtet ist.
Bildverarbeitende Messeinrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Verstärkung der von dem Bildsensor (2) aufgenommenen Bildsignale (IN) mit einer Verstärkung eingerichtet ist, die durch eine von dem aufgenommenen Bildsignal (IN) abhängige nichtlineare Kennlinie bestimmt ist.
Bildverarbeitende Messeinrichtung (1) nach Anspruch 2, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur äquidistanten Quantisierung der mit einer nichtlinearen Kennlinie verstärkten aufgenommenen Bildsignale (IN) eingerichtet ist.
Bildverarbeitende Messeinrichtung (1) nach Anspruch 1, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) durch Umsetzung der mit einer ersten Auflösung von dem Bildsensor bereitgestellten Bildsignalwerte in digitalisierte Bildinformationswerte (OUT) mit einer zweiten Auflösung eingerichtet ist, wobei der jeweilige Rauschanteil der aufgenommenen Bildsignale (IN) ein Maß zur Festlegung der zweiten Auflösung für die Umsetzung der jeweiligen Bildsignalwerte ist.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Umsetzung mit einer Look-Up-Tabelle eingerichtet ist, die eine Digitalisierung der von dem Bildsensor (2) in einer feineren Stufung mit einer ersten Auflösung bereit gestellten digitalen Bildsignalwerte (IN) in eine gröbere Stufung mit einer zweiten Auflösung, die kleiner als die erste Auflösung ist, definiert.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) mit einer nichtlinearen Kennlinie mit monotonem Verlauf eingerichtet ist.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) mit einer Kennlinie erfolgt, die einen durch eine Wurzelfunktion bestimmten Abschnitt hat.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) mit einer Kennlinie erfolgt, die in aufeinanderfolgenden Segmenten jeweils einen linearen Verlauf mit voneinander verschiedenen Steigungen hat.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) mit einer Kennlinie erfolgt, dessen Steigung durch einen durch die feinste verfügbare Quantisierungsstufe des Bildsensors (2) bestimmten Grenzwert limitiert ist.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) aus einem Kanal mit Helligkeitswerten des Bildsensors (2) oder aus mehreren Kanälen mit Helligkeitswerten und/oder Farbwerten des Bildsensors (2) eingerichtet ist.
Bildverarbeitende Messeinrichtung (1) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Datenverarbeitungseinheit (3) zur Digitalisierung der aufgenommenen Bildsignale (IN) von mehreren Bildsensoren (2) eingerichtet ist.
Verfahren zur digitalen Übertragung von Bildsignalen (IN), die mit einem Bildsensor (2) aufgenommen werden, gekennzeichnet durch Digitalisierung der aufgenommenen Bildsignale (IN) mit einem von dem jeweiligen Rauschanteil in einem jeweiligen aufgenommenen Bildsignal (IN) abhängig gewählten digitalisierten Bildinformationswert (OUT).
Verfahren nach Anspruch 12, gekennzeichnet durch Verstärkung der von dem Bildsensor (2) aufgenommenen Bildsignale (IN) mit einem Verstärkungsfaktor, der durch eine von dem aufgenommenen Bildsignal (IN) abhängige nichtlineare Kennlinie bestimmt ist.
Verfahren nach Anspruch 13, gekennzeichnet durch äquidistante lineare Quantisierung der mit einer nichtlinearen Kennlinie verstärkten Bildsignale (IN).
Verfahren nach Anspruch 12, gekennzeichnet durch Digitalisierung der aufgenommenen Bildsignale (IN) durch Umsetzung der mit einer ersten Auflösung von dem Bildsensor (2) bereitgestellten aufgenommenen Bildsignalwerte in eine zweite Auflösung, wobei der jeweilige Rauschanteil der Bildsignalwerte ein Maß zur Festlegung der zweiten Auflösung für die Umsetzung der jeweiligen Bildsignalwerte ist.
Verfahren nach einem der Ansprüche 12 bis 15, gekennzeichnet durch Digitalisierung der aufgenommenen Bildsignale (IN) durch Umsetzung mit einer Look-up-Tabelle, die eine Digitalisierung der in einer feineren Quantisierungsstufung der in der ersten Auflösung der von dem Bildsensor (2) bereitgestellten digitalen Bildsignalwerte in eine gröbere Quantisierungsstufung definiert.